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电子 工业 出 版 社 
内 容 简 介 


本 书 围绕 大 型 网 站 和 支撑 大 型 网 站 架构 的 Java 中 间 件 的 实践 展开 介 
绍 。 从 分 布 式 系统 的 知识 切入 ， 让 读者 对 分 布 式 系统 有 基本 的 了 解 ; 
然后 介绍 大 型 网 站 随 着 数据 量 、 访 问 量 增长 而 发 生 的 架构 变迁 ， 接 着 
讲述 构建 Java 中 间 件 的 相关 知识 ; 之 后 的 几 章 都 是 根据 笔者 的 经 难 来 
介绍 文 撑 大 型 网 站 架构 的 Java 中 间 件 系统 的 设计 和 实践 。 和 希望 读者 通 
过 本 书 可 以 了 解 大 型 网 站 架构 变迁 过 程 中 的 较为 通用 的 问题 和 解法 ， 
并 了 解构 建文 撑 大 型 网 站 的 Java 中 间 件 的 实践 经 验 。 


对 于 有 一 定 网 站 开发 、 设 计 经 验 ， 并 想 了 解 大 型 网 站 架构 和 支撑 这 种 
架构 的 系统 的 开发 、 测 试 等 的 相关 工程 人 员 ， 本 书 有 很 大 的 参考 意 
义 ; 对 于 没有 网 站 开发 设计 经 验 的 人 员 ， 通 过 本 书 也 能 宏观 了 解 大 型 
网 站 的 架构 及 相关 问题 的 解决 思路 和 方案 。 

未 经 许可 ， 不 得 以 任何 方式 复制 或 抄袭 本 书 之 部 分 或 全 部 内 容 。 
版 权 所 有 ， 侵 权 必 究 。 
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推荐 序 一 


从 事 互 联网 系统 开发 的 人 员 大 多 布衣 成 为 资深 的 架构 师 或 领域 专家 。 
但 大 部 分 人 员 由 于 目 身 工作 环境 及 条 件 的 限制 ， 缺 少 大 型 系统 实践 经 
验 ， 或 者 对 核心 的 案例 缺乏 真实 的 了 解 ， 因 此 很 难 有 机 会 理解 分 布 式 


设计 中 的 关键 问题 及 应 对 方案 。 如 何 才能 找到 有 效 的 方法 并 早日 成 为 
资深 系统 染 构 师 呢 ? 


《大 型 网 站 系统 与 Java 中 间 件 实践 》 一 书 介绍 了 大 型 网 站 分 布 式 领域 
的 各 种 问题 ， 并 且 以 互联 网 语言 Java 语 言 为 主 。 这 对 于 希望 提升 架构 
能 力 的 技术 人 员 来 说 ， 一 方面 有 助 于 他 们 了 解 理论 层面 体系 ， 掌 握 大 
型 系统 的 全 用 ， 男 一 方面 ， 由 于 作者 具有 淘宝 平台 的 丰富 的 架构 及 中 
间 件 开发 经 验 ， 因 而 书 中 的 要 点 部 是 大 型 网 站 在 实际 运行 中 的 精华 经 
验 ， 不 管 你 是 使 用 一 个 已 有 的 分 布 式 开 源 解 决 方案 ， 还 是 目 行 开发 分 
布 式 组 件 ， 了 解 这 些 夭 键 点 都 会 帮助 你 快速 深入 地 芍 驭 分 布 式 领域 的 


核心 架构 。 


书 中 内 容 尽 古 实战 经 验 ， 虽 不 布道 ， 但 所 壕 内 容 却 不 和 之 硝烟 一 一 因为 
征 作者 在 分 布 式 系统 的 构建 、 拆 分 、 服 务 化 、 部 嗜 、 实 战 过 程 中 所 经 
历 的 教训 、 积 素 的 经 共 。 书 中 还 有 很 多 性 能 优化 分 析 、 多 种 方案 选择 
时 的 tradeoff 及 实战 中 的 方案 。 方 案 选择 无 所 谓 最 佳 ， 只 有 最 适合 ， 这 
本 书 不 仅 给 出 了 方案 选择 的 方法 ， 更 给 出 了 方案 选择 的 原因 。 本 书 除 
了 适合 布 望 提升 扣 构 能 力 的 技术 人 员 阅 读 ， 对 于 正在 从 事 大 数据 、 融 
并 发 、 中 间 件 使 用 或 研发 的 一 线 开 发 人 员 也 很 有 价值 。 


一 一 杨 卫 华 (@TimYang) 
新 浪 网 技术 总 监 


推荐 序 二 


看 了 华 黎 寄 给 我 的 样 草 有 很 深 的 感触 ， 时 间 仿 佛 义 回 到 两 年 多 前 ， 当 
时 “去 哪儿 ”网 的 业务 飞速 发 展 ， 系 统 遇 到 了 各 种 各 样 的 问题 。 


首先 是 系统 无 字 制 地 变 得 胱 肿 庞 大 ， 大 量 的 web service 的 调用 将 我 们 
的 系统 变 成 了 一 个 蜂 蛛 网 ， 新 进入 的 工程 师 需 要 很 长 时 间 的 熟悉 才能 
对 原 有 系统 做 出 修改 。 


其 次 系统 随 着 业务 量 的 不 断 增 大 变 得 不 堪 重 负 ， 开 始 还 能 通过 增加 硬 
件 来 扩容 ， 后 来 增加 硬件 能 够 市 来 的 效果 已 无 济 于 事 。 


还 有 ， 质 量 越 来 越 难以 保证 ， 测 试 的 时 间 变 得 越 来 越 长 ， 无 法 跟 上 和 
满足 业务 发 展 和 变化 的 需要 ， 团 队 的 压力 也 越 来 越 大 ， 各 个 团队 都 需 
要 增加 人 员 ， 但 是 生产 力 的 提升 并 不 明显 。 


回顾 那 段 时 间 ， 故 障 频 发 ， 效 率 低下 ， 团 队 人 困 马 乏 ， 成 束 感 变 得 越 
来 越 低 。 于 是 我 们 参考 了 国内 外 经 历 过 这 个 阶段 的 公司 的 做 法 ， 引 入 
了 服务 化 框架 ， 将 系统 拆 小 ， 重 视 了 系统 层次 ， 控 制 了 系统 之 间 的 调 
用 关系 ， 也 采用 了 可 靠 消息 系统 来 应 对 业务 系统 之 间 的 强大 合 问 题 。 
经 过 两 年 的 努力 ， 现 在 终于 看 到 了 胜利 的 曙光 。 


总 结 下 来 系统 发 展 的 困难 也 是 演进 推动 力 ， 主 要 来 目 于 三 个 方面 : 一 
古 系 统 的 负载 规模 ， 二 是 系统 的 复 洒 度 ， 三 是 由 前 两 个 方面 带 来 的 开 
发 团队 的 规模 扩张 。 而 中 间 件 技术 是 解决 上 述 三 个 问题 的 重要 方法 。 


如 条 在 两 年 甚至 三 年 前 华 黎 的 这 本 书 吏 已 经 出 版 ， 那 么 去 哪儿 网 的 系 
统 发 展 号 能 少 走 很 多 弯路 。 过 去 两 年 中 ， 我 们 为 了 概念 和 做 法 进行 了 
无 数 次 的 讨论 、 和 争执 、 笑 试 、 修 正 。 因 为 我 们 当时 获得 经 验 的 途径 主 
要 是 通过 阅读 国内 外 各 大 网 站 的 同行 在 各 种 技术 会 议 上 的 党 讲 、 
PPT， 或 者 与 他 们 交流 过 程 中 得 到 各 种 启示 ， 这 对 于 一 个 快速 成 长 中 
的 系统 来 讲 太 不 成 体系 了 ， 无 法 对 日 第 的 工作 进行 指导 。 而 华 黎 写 的 
这 本 书 融 合 了 他 过 去 在 淘宝 的 经 验 ， 书 中 的 做 法 、 理 念经 过 了 淘宝 系 
统 的 爆炸 性 增长 的 检验 ， 详 实地 阐述 了 Java 中 间 件 技术 在 大 型 网 站 ， 
尤其 是 大 型 交易 类 网 站 的 建设 和 应 用 经 验 。 


书 若 其 人 ， 这 本 书 很 实在 ， 用 现在 流行 的 话语 来 讲 ， 就 是 干货 多 。 我 

认识 华 黎 有 三 年 了 ， 三 年 内 见 过 几 面 ， 每 次 见面 我 都 有 很 多 收获 。 这 

次 他 把 他 的 经 验 和 领悟 集结 成 书 ， 相 信 对 很 多 正在 投 呈 于 互联 网 系统 

开发 ， 特 别 是 高 负载 、 高 复杂 度 的 系统 开发 的 工程 师 们 会 有 很 大 大 
| 由 不 | 。 


一 一 吴 永 强 (@ 吴 永 强 去 哪 ) 
去 哪 网 CTO 
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由 于 2007 年 一 个 很 偶然 的 机 会 ， 我 加 入 了 淘宝 平台 架构 组 ， 职 位 是 
C++ 工程 师 。 然 后 我 就 在 只 完成 了 C 语 言 的 一 个 小 功能 后 ， 开 始 了 Java 
中 间 件 的 研究 生涯 。 从 2007 年 下 半年 到 2013 年 年 初 ， 近 6 年 时 间 我 都 在 
和 支撑 整个 网 站 应 用 的 Java 中 间 件 打交道 从 设计 实现 消息 中 间 件 
到 参与 数据 访问 层 设 计 ， 再 到 负责 整个 Java 中 间 件 团队 ， 我 也 从 一 个 
不 太 懂 Java 的 C++ 工程 师 成 长 为 对 Java 中 间 件 有 一 定 了 解 和 积累 的 工程 
负责 人 。 在 这 个 过 程 中 ， 我 也 有 和 邓 参 与 了 淘宝 从 集中 式 的 Java 心 用 到 
分 布 式 Java 应 用 的 架构 变迁 。 


本 书 从 分 布 式 系统 说 起 ， 然 后 介绍 大 型 网 站 的 变迁 中 直到 的 挑战 和 应 
对 策略 ， 接 着 讲解 Java 中 间 件 的 内 容 ， 重 点 介绍 了 笔者 在 实践 中 日 主 
开发 的 文 撑 大 型 网 站 应 用 的 几 个 Java 中 间 件 产品 ， 包 括 对 它们 的 思考 
及 其 设计 和 实现 原理 。 最 后 介绍 了 文 撑 大 型 网 站 的 其 他 基础 要 素 ， 包 
括 CDN、 搜 索 、 存 储 、 计 算 平 台 ， 以 及 运 维 相关 的 系统 等 内 容 。 


通过 阅读 本 书 ， 笔 者 布 望 读 者 能 够 尽量 完整 地 了 解 大 型 网 站 的 挑战 和 
应 对 办 法 ， 并 且 能 够 了 解 淘 宝 在 大 型 网 站 变迁 过 程 中 产生 的 这 几 个 中 
间 件 的 具体 产品 及 其 背后 的 思考 和 设计 ， 并 能 够 对 除 中 间 件 之 外 的 文 
撑 大 型 网 站 的 其 他 系统 有 一 定 的 了 解 。 硕 望 初学 者 能 够 更 多 地 关注 全 
貌 ， 也 希望 有 相关 经 验 的 人 士 可 以 从 本 书 中 得 到 一 些 启 发 ,汲取 一 些 


经 验 。 


2013 年 5 月 ， 我 的 岗位 有 了 调整 ， 在 接 下 来 的 时 间 中 我 将 市 领 淘宝 技术 
部 承担 淘宝 业务 应 用 的 开发 工作 。 这 本 书 也 是 对 目 己 淘宝 中 间 件 6 年 工 
作 生 涯 的 一 份 纪念 。 


最 后 要 说 的 是 ， 能 够 完成 本 书 有 很 多 的 人 要 感谢 ， 首 先 要 感谢 淘宝 给 
我 这 么 好 的 平台 和 机 会 ， 没 有 这 个 机 会 瑟 不 会 有 本 书 。 然 后 也 非常 感 
谢 太太 王 海 凤 对 我 的 支持 ，4 年 前 和 林 吴 合 着 《OSGi 原 理 与 最 佳 实 
践 》 一 书 的 上 时候， 我 们 刚 谈 恋 爱 ， 我 把 很 多 本 应 陪 你 的 时 间 用 在 了 写 
作 上 ; 4 年 后 ， 我 又 把 本 应 陪 你 和 儿子 的 时 间 用 在 了 写作 上 ， 没 有 你 的 
文 持 和 理解 ， 我 不 可 能 完成 这 次 写作 。 最 后 也 要 感谢 我 的 父母 、 岳 父 
母 、 姑 姑 和 小 表妹 ， 有 你 们 照顾 许 宕 ， 我 才能 专心 地 写作 本 书 。 


RS 分 7 
曾 完 杰 


2013 年 11 月 于 杭州 
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第 1 章 “分布 式 系统 介绍 
1.1 初 识 分 布 式 系统 


我 第 一 次 听 说 分 布 式 系统 ， 大 约 是 在 2000 年 的 时 候 。 当 时 很 偶然 地 了 
解 到 ，1997 年 版 本 的 电影 《泰坦 尼克 号 》 中 的 特效 吏 是 通用 多 人 台 运 行 
Linux 的 机 妮 组 成 的 系统 来 共同 完成 的 。 整 个 系统 的 规模 有 多 大 ， 我 没 
有 确切 数字 ， 印 象 中 是 一 百 多 台 机 絮 。 这 个 集群 的 规模 现在 看 不 算 
大 ,但 在 当时 深 深 地 震撼 了 我 。 更 加 让 我 感慨 的 是 ， 那 个 时 候 喘 边 正 


好 有 一 位 同学 在 用 3D 软 件 做 特效 ， 因 为 过 于 复杂 ， 在 履 室 要 爆 灯 时 总 
征 不 能 全 部 完成 。 如 采 能 够 把 其 他 人 的 电脑 拿 过 来 一 起 分 担 工作 ， 同 
时 演 染 ， 应 该 丈 能 在 煜 灯 前 完成 ， 那 样 束 不 需要 把 电脑 放 到 负责 管理 
得 售 楼 的 大 分 那 边 来 保证 它 一 直 有 电 了 。 


1.1.1 分 布 式 系统 的 定义 


对 于 分 布 式 系 统 的 定义 ， 一 直 以 来 我 都 没有 找到 或 者 想到 特别 简练 而 
又 合适 的 定义 。 这 里 引用 一 下 Distributed Systems Concepts and Design 

(Third Edition ) 中 的 一 句 话 : “A distributed system is one in which 
components located at networked computers communicate and coordinate 
their actions only by passing messages”。 从 这 人 句 话 我 们 可 以 看 到 几 个 重 
点 ， 一 是 组 件 分 布 在 网 络 计算 机 上 ， 二 是 组 件 之 间 仅 仅 通 过 消息 传递 
来 通信 并 协调 行动 。 


图 1-1 是 一 个 分 布 式 系统 的 示意 图 ， 从 用 户 的 视角 看 ， 用 户 面 对 的 束 是 
一 个 服务 器 ， 提 供用 户 需 要 的 服务 ， 而 实际 上 古人 靠 痛 后 的 众多 服务 絮 
0 式 系统 来 提供 服务 。 分 布 式 系统 看 起 来 束 像 一 个 超级 
中 一 一 o 
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图 1-1 分布 式 系统 示意 图 


我 们 来 理解 一 下 分 布 式 系统 的 定义 。 首 先 分 布 式 系统 一 定 是 由 多 个 市 
扩 组 成 的 系统 ， 一 般 来 说 一 个 市 点 束 古 我 们 的 一 台 计 算 机 ， 然 后 这 些 
方太 不 是 孤立 的 ， 而 十 互 相连 通 的 ， 最 后 ， 这 些 连通 的 让 点 上 部 闭 了 
我 们 的 组 件 ， 并 且 相 互 之 间 的 操作 会 有 协同 。 有 了 这 样 的 原则 ， 我 们 
忠 可 以 看 看 喘 边 都 有 哪些 分 布 式 系统 了 人 。 像 大 家 平时 都 会 使 用 的 互联 
网 就 是 一 个 分 布 式 系 统 ， 我 们 通过 浏览 器 去 访问 某 一 个 网 站 (例如 淘 
宝 ) ， 在 对 浏览 器 发 出 请 求 的 背后 是 一 个 大 型 的 分 布 式 系统 在 为 我 们 
提供 服务 ， 整 个 系统 中 有 的 负责 请 求 处 理 ， 有 的 负责 存储 ， 有 的 负责 
计算 ， 最 终 通过 相互 的 协同 把 我 们 的 请 求 变 成 了 最 后 的 结果 返回 给 浏 
览 郁 ， 并 哇 献 给 我 们 。 


1.1.2 ”分 布 式 系 统 的 意义 


从 单机 单 用 户 到 单机 多 用 户 ， 再 到 现在 的 网 络 时 代 ， 应 用 系统 发 生 了 
很 多 的 变化 。 而 分 布 式 系统 依然 是 目前 很 热门 的 讨论 话题 。 那 么 ， 分 
布 式 系 统 给 我 们 市 来 了 什么 ， 或 者 说 为 什么 要 有 分 布 式 系统 呢 ? 下 面 
从 二 个 方面 来 介绍 一 下 其 中 的 原因 : 


。 升级 单机 处 理 能 力 的 性 价 比 越 来 越 低 。 
。 单机 处 理 能 力 存在 瓶颈 。 
。 出 于 稳定 性 和 可 用 性 的 考虑 。 


那么 我 们 先 来 看 单机 处 理 能 力 包括 什么 。 一 般 来 说 ， 我 们 关注 的 是 单 
机 的 处 理 器 (CPU) 、 内 存 、 磁 盘 和 了 网络。 下 面 我 们 就 用 处 理 句 来 举 
例 说 明 与 单机 处 理 能 力 相 关 的 问题 。 


我 们 都 知道 摩尔 定律 : 当 价 格 不 变 时 ， 每 隔 18 个 月 ， 集 成 电路 上 可 容 
纳 的 晶体 管 数目 会 增加 一 倍 ， 性 能 也 将 提升 一 倍 ， 如 图 1-2 所 示 。 
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图 1-2 ”摩尔 定律 


这 个 定律 告诉 我 们 ， 随 着 时 间 的 推移 ， 单 位 成 本 的 文 出 所 能 购买 的 计 
算 能 力 在 提升 。 不 过 ， 如 采 我 们 把 时 间 固 定 下 来 ， 也 束 是 固定 在 某 个 
具体 时 间 点 来 购买 单 颗 不 同型 号 处 理 右 ， 那 么 所 购买 的 处 理 器 性 能 越 
高 ， 所 要 付出 的 成 本 束 越 高 ， 性 价 比 束 越 低 。 那 么 ， 吏 是 说 在 一 个 硝 
定 的 时 间 点 ， 通 过 更 换 硬 件 做 垂直 扩展 的 方式 来 提升 性 能 会 越 来 越 不 
划算 。 除 此 之 外 ， 同 样 是 在 某 个 固定 的 时 间 点 ， 单 颗 处 理 右 有 目 己 的 
性 能 瓶颈 ， 也 融和 是 说 即使 你 愿意 伦 更 多 的 钱 去 天 计算 能 力也 天 不 到 
了 ， 这 束 是 前 面 提 到 的 第 二 点 。 而 第 三 点 ， 强 调 的 是 分 布 式 系统 带 来 
的 稳定 性 、 可 用 性 的 提升 。 如 采 我 们 采用 单机 系统 ， 那 么 在 这 台 机 器 
正常 的 时 候 一 切 OK， 一 旦 出 问题 ,那么 系统 整 完全 不 能 用 了 。 当 然 ， 
可 以 考虑 做 容 灾 备份 等 方案 ， 而 这 些 方案 吏 会 让 你 的 单机 系统 演变 成 
分 布 式 系统 了 


多 年 以 来 分 布 式 系统 相关 技术 一 直 是 技术 方面 的 热点 ， 在 接 下 来 的 一 
方 中 我 们 看 一 些 分 布 式 系统 的 基础 知识 。 


1.2 分 布 式 系统 的 基础 知识 


在 前 面 的 内 容 中 提 到 过 ， 分 布 式 系统 是 多 个 下 点 连通 后 组 成 的 系统 ， 
我 们 先 来 介绍 单个 节点 ， 就 是 单个 计算 机 ， 首 先 看 一 下 计算 机 的 组 成 


~ 


1.2.1 组 成 计算 机 的 5 要 素 


提起 汉 : 诸 依 受 (John Von Neumann) ， 应 该 很 多 读者 都 知道 他 是 “ 计 
算 机 之 父 ”， 他 对 世界 上 第 一 台电 子 计 算 机 -ENIAC 的 设计 提出 过 建 
议 ， 而 且 他 在 共同 讨论 的 基础 上 起 草 的 EDVAC (电子 离散 变量 自动 计 
算 机 ) 设计 报告 ， 对 后 来 的 计算 机 的 设计 有 决定 性 影响 。 就 是 在 这 个 
101 页 的 报告 中 ， 提 到 了 计算 机 的 5 个 组 成 部 分 以 及 采用 二 进 制 编码 等 
设计 ° 我 们 看 一 下 冯 : 诺 依 曼 型 计算 机 的 这 5 个 组 成 部 分 ， 如 图 1-3 所 
不 。 


图 1-3 ”组 成 计算 机 的 5 要 素 
如 图 1-3 所 示 ， 组 成 计算 机 的 基本 元 素 包 括 输入 设备 、 输 出 设备 、 运 算 
右 、 探 制 尹 和 存储 器 ， 存 储 右 又 分 为 了 内 存 和 外 存 。 在 计算 机 上 断 电 
时 ， 内 存 中 存储 的 数据 会 丢失 ， 而 外 存 则 仍然 能 够 保持 存储 的 数据 。 


在 单机 系统 中 ， 这 5 个 部 分 构成 了 整个 计算 机 系统 。 而 分 布 式 系统 从 外 
部 看 起 来 号 像 古 一 个 超级 计算 机 。 那 么 ， 这 个 超级 计算 机 是 否 也 是 由 


上 面 的 5 个 部 分 组 成 的 呢 ? 如 果 是 ， 这 5 个 部 分 具体 又 是 怎么 运作 的 
呢 ? 在 后 面 的 章节 中 ， 我 们 会 具体 谈 到 这 部 分 内 容 。 


1.2.2 ”线程 与 进程 的 执行 模式 


有 了 基础 的 硬件 后 ， 要 完成 工作 吏 需 要 我 们 进行 相应 的 开发 ， 而 我 们 
代码 最 后 是 要 通过 进程 中 的 线程 来 运行 ， 因 此 我 们 接 下 来 要 看 的 号 是 
线程 与 进程 的 执行 模式 。 相 信 绝 大 部 分 接触 程序 设计 的 人 员 都 和 我 一 
样 是 先 接 触 单线 程 开发 的 。 事 实 上 那个 时 候 我 并 不 懂得 线程 的 概念 ， 
就 是 写 一 段 代码 ， 执 行 完了 事 。 在 单线 程 程序 中 ， 我 们 面 对 的 主要 就 
0 
掌握 的 。 


相对 于 单线 程 ， 下 面 要 介绍 的 束 是 多 线程 。 先 明确 一 下 ， 我 们 这 里 说 
的 多 线程 ， 指 的 是 单 进程 内 的 多 线程 。 多 线程 开发 的 难度 远 远 高 于 单 
线程 。 在 多 线程 开发 中 ， 我 们 需要 处 理 线程 间 的 通信 ， 需 要 对 线程 并 
发 做 控制 ， 需 要 做 好 线程 则 的 协调 工作 。 


1.2.2.1 阿 姆 达 尔 定律 


多 线程 的 程序 不 容易 写 ， 开 发 难度 比较 大 。 但 是 ， 多 线程 给 我 们 市 来 
的 好 处 也 是 显而易见 的 。 在 前 面 的 章节 中 提 到 过 摩尔 定律 ， 进 入 21 世 
纪 后 ， 单 核 CPU 的 性 能 和 时 钟 频率 已 经 达到 了 很 高 的 高 度 ， 因 而 这 个 
时 候 CPU 能 力 的 提升 更 多 的 是 人 靠 增加 单 颗 CPU 中 的 核心 数 来 提升 ， 总 
体 上 处 理 能 力 的 提升 还 是 符合 摩尔 定律 。 但 是 ， 要 利用 这 种 能 力 拓 升 
的 话 ， 束 需要 我 们 面向 多 核 来 编程 。 在 多 年 前 的 单 核 时 代 ， 程 序 员 相 
对 容易 就 能 做 到 上 自己 的 程序 随 着 CPU 的 更 换 而 变 快 。 而 在 多 核 的 年 
代 ， 如 琳 你 的 程序 不 能 很 好 地 利用 多 核 ， 那 么 随 着 时 间 的 推移 ， 升 级 
多 核 CPU 为 你 的 程序 市 来 的 速度 提升 会 非 党 有限。 在 这 样 的 多 核 时 代 
中 ， 程 序 的 并 发 和 并 行 很 重要 。 通 过 阿 姆 达 尔 定 律 也 能 很 好 地 看 到 ， 
程序 中 的 串 行 部 分 对 于 增加 CPU 核心 来 提升 处 理 速度 存在 限制 。 


我 们 看 一 下 阿 姆 达 尔 定律 (Amdahl's law) : 


1 
SWFE 
(W) 届 


一 己 = 
1 N 


其 中 ，P 指 的 是 程序 中 可 并 行 部 分 的 程序 在 单 核 上 执行 时 间 的 占 比 ， 
N 表 示 处 理 器 的 个 数 (总 核心 数 ) 。S (N ) 是 指 程序 在 N 个 处 理 器 
(总 核心 数 ) 相对 在 单个 处 理 器 ( 单 核 ) 中 的 速度 提升 比 。 


这 个 公式 告诉 我 们 ， 程 序 中 可 并 行 代码 的 比例 决定 你 增加 处 理 器 (总 
核心 数 ) 所 能 带 来 的 速度 提升 的 上 限 ， 是 否 能 达到 这 个 上 限 ， 还 取决 
于 很 多 其 他 的 因素 。 例 如 ， 当 P =0.5 时 ， 我 们 可 以 计算 出 速度 提升 的 
上 限 束 是 2。 而 如 果 P =0.2， 速 度 提 升 的 上 限 束 是 1.25。 可 风 ， 在 多 核 
的 时 代 ， 并 发 程序 的 开发 或 者 说 提升 程序 的 并 发 性 是 多 么 重要 。 


1.2.2.2 ” 互 不 通信 的 多 线程 模式 

接 下 来 ， 我 们 需要 看 看 多 线程 的 几 种 交互 模式 。 首 先 看 到 的 就 是 不 进 
行 交 互 的 模式 。 在 多 线程 程序 中 ， 多 个 线程 会 在 系统 中 并 发 执行 。 如 
果 线 程 之 间 不 需要 处 理 共享 的 数据 ， 也 不 需要 进行 动作 协调 ， 那 么 将 
会 非常 简单 ， 就 是 多 个 独立 的 线程 各 自 完成 自己 线程 中 的 工作 。 


例如 图 1-4 中 的 两 个 线程 ， 没 有 交集 ， 各 目 执行 各 目的 任务 和 逻辑 。 


任务 执行 任务 执行 
任务 执行 任务 执行 


任务 执行 任务 执行 


图 1-4 互 不 通信 的 多 线程 执行 流程 


1.2.2.3 ”基于 共 译 容器 协同 的 多 线程 模式 


在 男 一 些 场景 中 我 们 需要 在 多 个 线程 之 间 对 共 圣 的 数据 进行 处 理 。 例 
如 经 典 的 生产 者 和 消费 者 的 例子 ， 我 们 有 一 个 队列 用 于 生产 和 消费 ， 
那么 ， 这 个 队列 殊 是 多 个 线程 会 共 圣 的 一 个 容 右 或 者 是 数据 对 象 ， 多 
个 线程 会 并 发 地 访问 这 个 队列 ， 如 图 1-5 所 示 。 


任务 执行 
任务 执行 


任务 执行 
任务 执行 


任务 执行 任务 执行 


图 1-5 ”使 用 队列 进行 交互 的 多 线程 执行 流程 


对 于 这 种 在 多 线程 环境 下 对 同一 份 数据 的 访问 ， 我 们 需要 有 所 保护 和 
控制 以 保证 访问 的 正确 性 。 对 于 存储 数据 的 容器 或 者 对 象 ， 有 线程 安 
全 和 线程 不 安全 之 分 ， 而 对 于 线程 不 安全 的 容 恬 或 对 象 ， 一 般 可 以 通 
过 加 锁 或 者 通过 Copy On Write 的 方式 来 控制 并 发 访问 。 使 用 加 锁 方 式 
时 ， 如 果 数 据 在 多 线程 中 的 读 写 比例 很 高 ， 则 一 般 会 采用 读 写 锁 而 非 
简单 的 互 斥 锁 。 对 于 线程 安全 的 容器 和 对 象 ， 我 们 束 可 以 在 多 线程 环 
境 下 直接 使 用 它们 了 。 在 这 些 线程 安全 的 容器 和 对 象 中 ， 有 些 是 文 持 
并 发 的 ， 这 种 方式 的 殖 率 会 比 简 单 的 加 互 斥 锁 的 实现 更 好 ， 例 如 在 
Java 领 域 ，JDK 中 的 java.util.concurrent 包 中 有 很 多 这 样 的 容 絮 类。 不 
过 ， 需 要 在 这 里 提 一 点 的 是 ， 有 时 通过 加 锁 把 使 用 线程 不 安全 容器 的 
代码 改 为 使 用 线程 安全 容器 的 代码 时 ， 会 遇 到 笔者 之 前 遇 到 过 的 一 个 
陷阱 ， 即 在 一 个 使 用 map 存 储 信息 后 统计 总 数 的 例子 中 ，map 中 的 
> 使 用 线程 不 安全 的 HashMap 代 人 码 是 这 样 写 的 (以 Java 为 
列 ) : 


public class TestClasst 


private HashMap<String, Integer>map= new 
HashMap<String, Integer>(); 


public synchronized void add(String key)t{ 
Integer Value=map .get(Kkey) ; 
if (Value== null ){ 


map.put(key, 1); 


} 
else { 

map.put(key, value+1); 
} 


如 果 我 们 使 用 ConcurrentHashMap 来 蔡 换 HashMap ， 并 且 去 把 
synchronized 天 键 字 ， 那 么 瓯 出 问题 了 。 问 题 不 复杂 ， 大 家 可 以 目 己 来 
思考 答案 。 


public class TestClasst{ 


private HashMap<String, Integer>map= new 
HashMap<String, Integer>(); 


public synchronized void add(String key){ 
Integer value=map.get(key); 
if (value== null ){ 
map.put(key, 1); 
} 
else { 


map.put(key, value+1); 


} 


1.2.2.4 ”通过 事件 协同 的 多 线程 模式 


除了 并 发 访问 的 控制 ， 线 程 间 会 存在 着 协调 的 需求 ， 例 如 A、B 两 个 线 
程 ，B 线 程 需要 等 到 某 个 状态 或 事件 发 生 后 才能 继续 目 己 的 工作 ， 而 
这 个 状态 改变 或 者 事件 产生 和 A 线程 相关 。 那 么 在 这 个 场景 下 ， 整 需 
要 完成 线程 间 的 协调 。 


如 图 1-6 所 示 ， 右 侧 的 线程 ， 在 执行 到 某 个 步 又 时 需要 等 待 一 个 事件 ， 
而 这 个 事件 由 左 侧线 程 产 生 并 通知 。 右 侧线 程 一 直 阻 塞 直到 事件 通知 
到 达 后 才 继 续 目 己 的 执行 。 当 然 ， 这 只 是 一 个 很 简单 的 例 季 ， 而 在 实 
际 的 程序 中 会 有 更 复杂 的 情况 。 我 们 也 需要 注意 避免 死 锁 的 情况 出 
现 。 一 般 来 说， 能 够 原子 性 地 获取 需要 的 多 个 锁 ， 或 者 注意 调整 对 多 
个 锁 的 获取 顺序 ， 束 会 比较 好 地 避免 死 锁 。 


任务 执行 


任务 执行 
任务 执行 


任务 执行 


任务 执行 任务 执行 


图 1-6 ”通过 事件 协同 的 多 线程 执行 流程 


下 面 来 看 一 个 死 锁 的 例子 。 我 们 假设 有 两 个 锁 A 和 B， 有 两 个 线程 T1 和 
T2，T1 和 T2 的 某 段 代 码 都 需要 获取 A 和 B 两 个 锁 ， 假 设 伪 代 码 如 下 : 


TI 代码 
A.1lock(); 


B.lock( ) ; 


B.lock( ) ; 


A.1lock(); 


图 1-7 ”等 待 顺 序 造 成 的 死 锁 


这 个 时 候 ，T1 等 不 到 B， 而 T2 也 等 不 到 A。 下 面 这 种 做 法 可 以 避免 这 
样 的 死 锁 : 


Ti 代码 
A.lock(); 


B.1lock( ); 


A.lock( ); 


B.1lock( ) ; 


和 前 面 代码 相 比 ，T2 线 程 的 获取 锁 的 顺序 发 生 了 变化 ， 现 在 和 T1 一 
样 ， 都 是 抑 获 取 A， 人 然后 再 获取 B。 这 样 殴 可 以 避免 死 锁 。 因 为 两 个 线 
程 都 古 先 获取 A 才 会 接着 获取 B， 束 不 会 出 现 之 前 一 个 线程 持 有 A 等 得 
B， 男 外 一 个 线程 持 有 B 等 行 A 的 情况 了 。 


此 外 ， 我 们 还 有 男 外 一 种 实现 方式 来 避免 死 锁 : 


Ti 代码 


GetLocks(A,B); 


可 以 看 到 ， 我 们 使 用 了 一 个 GetLocks 函 数 ， 这 里 想 表 达 的 意思 是 ， 
GetLocks 一 次 性 获取 两 个 锁 ， 当 然 ， 对 于 GetLocks 这 样 的 伪 代 码 ， 不 
同 平台 的 支持 是 不 同 的 。 例 如 ， 在 Windows 系 统 中 ， 就 提供 了 
WaitForMultipleObjects ° 


此 外 ， 线 程 之 间 还 会 传递 数据 。 因 为 这 些 线程 共用 进程 的 内 存 空间 ， 
所 以 线程 间 的 传递 数据 束 相 对 容易 一 些 了 。 当 然 ， 后 面 将 提 到 的 进程 
间 通 信 的 手段 ， 在 多 线程 之 间 都 可 以 使 用 。 


1.2.2.5 “多 进程 模式 


前 面 介 绍 了 单线 程 和 多 线程 ， 下 面 来 看 多 进程 。 我 们 在 前 面 看 到 的 是 
在 单 进程 中 的 线程 模型 ， 下 面 我 们 将 要 关注 的 是 进程 间 的 关系 ， 而 不 
讨论 进程 内 部 是 单线 程 还 是 多 线程 。 


多 进程 和 多 线程 有 比较 多 的 相似 之 处 ， 也 有 不 同 。 首 先 ， 对 于 前 面 提 
到 的 多 线程 会 遇 到 的 状况 以 及 一 些 使 用 方式 ， 多 进程 也 有 类 似 的 场 
景 ， 只 是 具体 的 实现 方式 上 会 存在 不 同 。 造 成 不 同 的 最 大 原因 是 ， 线 
程 是 属于 进程 的 ， 一 个 进程 内 的 多 个 线程 共 诗 了 进程 的 内 存 空间 ; 而 
多 个 进程 之 间 的 内 存 空间 是 独立 的 ， 因 此 多 个 进程 间 通过 内 存 共享 、 
交换 数据 的 方式 与 多 个 线程 间 的 方式 孢 有 所 不 同 。 此 外 ， 进 程 间 的 通 
信 、 协 调 ， 以 及 通过 一 些 事件 通知 或 者 等 待 一 些 互 斤 锁 的 释放 方面 ， 
也 会 与 多 线程 不 一 样 。 这 些 在 不 同 的 平台 上 所 文 持 的 方式 不 同 。 


多 进程 相对 于 单 进程 多 线程 的 方式 来 说 ， 资 源 控制 会 更 容易 实现 ， 此 
外 ， 多 进程 中 的 单个 进程 问题 ， 不 会 造成 整体 的 不 可 用 。 这 两 点 是 多 
进程 区 别 于 单 进程 多 线程 方式 的 两 个 特点 。 当然 ， 使 用 多 进程 会 比 多 
线程 稍微 复杂 一 些 。 多 进程 间 可 以 共 吾 数据 ， 但 是 其 代价 比 多 线程 要 
大 ， 会 涉及 序列 化 与 反 序列 化 的 开销 。 


而 我 们 的 分 布 式 系统 是 多 机 组 成 的 系统 ， 可 以 近似 看 做 是 把 单机 多 进 
程 变 为 了 多 机 的 多 进程 。 当 然 ， 单 机 到 多 机 也 有 些 变化 。 原 来 在 单机 
OS 上 文 持 的 功能 现在 都 需要 另外 去 实现 了 人。 多 机 系统 也 市 来 了 一 个 好 
即 当 单个 机 器 出 问题 时 ， 如 果 人 处 理 得 好 ， 就 不 会 影响 整体 的 集 


回顾 一 下 我 们 从 单线 程 到 多 机 的 系统 ， 其 中 每 次 的 变化 都 使 得 我 们 在 
处 理 某 些 功能 〈 例 如 共享 数据 、 通 信 ) 时 会 有 不 同 ， 而 在 另外 一 个 关 
乎 故障 的 方面 也 会 不 一 样 。 


单线 程 和 单 进程 多 线程 的 程序 在 遇 到 机 需 故 障 、OS 问 题 或 者 目 身 的 进 
程 问题 时 ， 会 导致 整个 功能 不 可 用 。 


对 于 多 进程 的 系统 ， 如 果 巡 到 机 器 故障 或 者 OS 问题 ， 那 么 功能 也 会 整 
体 不 可 用 ， 而 如 有 果 是 多 进程 中 的 某 个 进程 问题 ， 那 么 是 有 可 能 保持 系 
统 的 部 分 功能 正常 的 一 一 当然 这 取决 于 多 进程 系统 目 身 的 实现 方式 。 


而 在 多 机 系统 中 ， 如 果 遇 到 某 些 机 器 故障 、OS 问 题 或 者 某 些 机 旭 的 进 
程 问题 ， 我 们 都 有 机 会 来 保证 整体 的 功能 大 体 可 用 一 一 可 能 是 部 分 功 
能 失效 ， 也 可 能 是 不 再 能 承担 正常 情况 下 那么 大 的 系统 压力 了 。 


i 


1.2.3 ”网 络 通信 和 基础 知识 


学 习 了 在 单机 中 的 线程 、 进 程 的 执行 模式 ， 下 面 我 们 将 要 介绍 的 区 是 
和 网 络 通信 相关 的 知识 。 在 分 布 式 系统 中 ， 组 件 分 布 在 网 络 上 的 多 个 
节 态 中， 通过 消 恩 的 传递 来 通信 并 且 进 行动 作 的 协调 。 因 此 网 络 通信 
在 分 布 式 系 统 中 非常 重要 。 


我 们 处 在 一 个 高 速 发 展 的 网 络 时 代 ， 无 论 是 有 线 网 络 还 是 无 线 网 络 ， 
无 论 是 LAN、MAN 还 是 WAN 等 把 众多 节点 联系 在 一 起 的 方式 ， 都 需 
要 解决 通信 的 问题 。 


1.2.3.1 OSI 与 TCP/IP 网 络 模 型 


百 先 我 们 需要 先 看 看 网 络 模型 ， 图 1-8 古 经 典 的 ISO 的 OSI 七 层 模 型 ， 
我 们 在 “计算 机 网 络 * 这 | ] 课 中 都 会 学 到 。 这 个 模型 考虑 得 比较 全 面 ， 
也 划分 得 比较 细致 。 而 我 们 大 多 数 人 在 平时 工作 中 接触 的 ， 主 要 是 
TCP/IP 的 模型 ， 两 者 的 对 应 天 系 可 以 用 图 1-9 来 说 明 。 


Application 


Program 


se 


图 1-8 
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图 1-9 ”OSI 与 TCP/IP 对 照 


我 们 在 这 里 不 过 多 介绍 计算 机 网 络 方面 的 内 容 ， 一 些 关 于 计算 机 网 络 
的 原理 、 网 络 实例 的 分 析 等 ， 可 以 参考 更 加 专业 的 书籍 。 


1.2.3.2 ”网 络 IO 实 现 方式 


我 们 在 实践 中 接触 比较 多 的 网 络 模 型 主要 是 以 太 网 及 TCP/IP 协 议 栈 ， 
UDP 在 一 些 场景 中 也 会 用 到 。 那 么 ， 当 我 们 使 用 Socket 套 接 字 进行 网 
络 通信 开发 时 ， 有 哪些 实现 方式 呢 ? 下 面 介绍 的 就 是 我 们 会 用 到 的 三 
种 方式 : BIO、NIO 和 AIO 。 


1. BIO 方式 


BIO 即 Blocking IO， 采 用 阻塞 的 方式 实现 。 也 就 是 一 个 Socket 套 接 字 需 
要 使 用 一 个 线程 来 进行 处 理 。 人 发 生 建立 连接 、 读 数据 、 写 数据 的 操作 


时 ， 都 可 能 会 阻塞 。 这 个 模式 的 好 处 是 和 价 单 ， 相 信 很 多 学 习 网 络 通 信 
的 学 生 最 初 写 的 实验 代码 都 是 BIO 的 。 这 样 做 带 来 的 主要 问题 是 使 得 
一 个 线程 只 处 理 一 个 Socket， 如 果 是 Server 曾 ， 那 么 在 文 持 并 发 的 连接 
时 ， 束 需要 更 多 的 线程 来 完成 这 个 工作 。 


BIO 的 工作 方式 如 图 1-10 所 示 。 


半 程 只 


read(), send(), closel) 


线程 日 
read(), send(), close() 


线程 C 
read(), send(), close()} 


图 1-10 ”BIO 的 工作 方式 


2. NIO 方 式 


NIO 即 Nonblocking IO， 基 于 事件 驱动 思想 ， 采 用 的 是 Reactor 模 式 (如 
图 1-11 所 示 ) 。 这 在 Java 实 现 的 服务 端 系统 中 也 是 采用 比较 多 的 一 种 
方式 。 相 对 于 BIO，NIO 的 一 个 明显 的 好 处 是 不 需要 为 每 个 Socket 套 接 
人 而 可 以 在 一 个 线程 中 处 理 多 个 Socket 套 接 字 相关 的 


sclect (handles) > 
foreach h in handles loop 

h->handlc_cycnt levent_type) 
cnd loop 


Reactor 


“dispatch{) Event Handler 


register_handler(h, type) handle_event(type) 
remove_handler(h, type) get_handlel) 


NM 


图 1-11 ”Reactor 模 式 


图 1-11 说 明了 Reactor 模 式 的 工作 方式 ，Reactor 会 管理 所 有 的 handler， 
并 且 把 出 现 的 事件 交 给 相应 的 Handler 去 处 理 。 我 们 再 具体 一 些 ， 看 一 
下 它 在 通信 中 的 应 用 ， 如 图 1-12 所 示 。 


反应 推 {Reactor) 


分 发 
(wait/notify ) 方 式 
PT 


图 1-12 Reactor 模式 在 通信 中 的 应 用 


从 图 1-12 中 可 以 看 出 ， 在 NIO 的 方式 下 不 是 用 单个 线程 去 应 对 单个 
Socket 套 接 字 ， 而 是 统一 通 过 Reactor 对 所 有 客户 端的 Socket 套 接 字 的 


事件 做 处 理 ， 然 后 派发 到 不 同 的 线程 中 。 这 样 束 解决 了 BIO 中 为 文 撑 
更 多 的 Socket 套 接 字 而 需要 打开 更 多 线程 的 问题 。 


3. AIO 方 式 


AIO 即 AsynchronousIO ， 就 是 异步 10。AIO 采 用 Proactor 模 式 (如 图 1- 
13 所 示 ) 。AIO 与 NIO 的 差别 是 ，AIO 在 进行 读 / 写 操作 时 ， 只 需要 调 
用 相应 的 read/write 方 法 ， 并 且 需 要 传 入 CompletionHandler (动作 完成 
的 处 理 器 ) ; 在 动作 完成 后 ， 会 调用 CompletionHandler， 当 然 ， 在 不 
同 的 系统 上 会 有 一 些 细微 的 差异 ， 不 同 的 语言 在 SDK 上 也 会 有 些 差 
异 ， 但 总 体 就 是 这 样 的 工作 方式 。NIO 的 通知 是 发 生 在 动作 之 前 ， 是 
在 可 写 、 可 读 的 时 候 ，S$elector 发 现 这 些 事件 后 调用 Handler 处 理 。 


Proactive : nn ee Asynchronous Corrpleion Corpletion 
Initiator ns Operation Dispatcher Handler 


| | 

| | 

| | | | 
| | 

图 1-13 ”Proactor 模 式 


上 上面 介绍 了 BIO、NIO 和 AIO 方 式 ， 我 们 也 提供 了 相应 的 例子 程序 供 大 
当然 ， 所 提供 的 程序 只 是 DEMO， 有 不 少 异常 的 情况 并 没有 
理 。 


AIO 是 在 Java 7 中 引入 的 。 在 Java 领 域 ， 服 务 端 的 代码 目前 基本 都 是 基 
于 NIO 的 。 而 AIO 和 NIO 的 一 个 最 大 的 区 别 是 ，NIO 在 有 通知 时 可 以 进 
例如 读 或 者 写 ， 而 AIO 在 有 通知 时 表示 相关 操作 已 经 完 


BIO、NIO、AIO 这 几 种 模型 并 不 要 求 客 户 端 和 服务 端 采 用 同样 的 方 
式 。 客 户 端 和 服务 端 之 间 的 交互 主要 在 于 数据 格式 或 者 说 是 通信 协 


> " 在 客户 端 ， 如 果 同 时 连接 数 不 多 ， 采 用 BIO 也 是 一 个 很 好 的 选 
= 


此 外 ， 在 实践 中 也 有 一 些 场 景 会 使 用 UDP， 但 丈 笔 者 的 经 验 看 还 古 
TCP 的 使 用 更 广泛 一 些 。 这 里 整 不 对 UDP 进 行 详细 介 绍 和 说 明了 。 


0 网 络 通信 知识 后 ， 我 们 接 下 来 看 一 下 从 单机 到 分 布 式 的 


> 


be 如 何 把 应 用 从 单机 扩展 到 分 布 
工 


在 前 面 的 内 容 中 ， 我 们 提 到 了 计算 机 一 共 由 5 部 分 组 成 。 从 使 用 者 的 角 
度 来 看 ， 分 布 式 系统 就 像 是 一 个 超级 计算 机 。 那 么 ， 这 个 超级 计算 机 
古 不 是 也 应 该 由 输入 、 输 出 、 运 算 、 和 存储 和 控制 这 5 部 分 组 成 呢 ? 我 们 
下 面 壬 试 从 这 个 维度 来 看 一 下 ， 从 单机 变化 到 分 布 式 时 ， 构 成 计算 机 
的 这 5 个 要 素 的 变化 。 


1.2.4.1 输入 设备 的 变化 

分 布 式 系统 由 通过 网 络 连接 的 多 个 节点 组 成 ， 那 么 ， 输 入 设备 其 实 可 
以 分 为 两 类 ， 一 种 是 互相 连接 的 多 个 节点 ， 在 接收 其 他 节点 传 来 的 信 
息 时 ， 该 节点 可 以 看 做 是 输入 设备 ， 另 外 一 种 就 是 传统 意义 的 人 机 交 
互 的 输入 设备 了 。 

1.2.4.2 ”输出 设备 的 变化 

输出 设备 和 输入 设备 相仿 ， 也 可 以 看 做 有 两 种 ， 一 种 是 指 系统 中 的 节 


所在 问 其 他 节点 传递 信息 时 ， 该 玉 点 可 以 看 做 是 输出 设备 ， 男 外 一 种 
就 是 传统 意义 的 人 机 交互 的 输出 设备 ， 例 如 终端 用 户 的 屏幕 等 。 


1.2.4.3 ”控制 器 的 变化 


在 单机 系统 中 ， 控 制 器 指 的 就 是 CPU 中 的 控制 器 。 在 分 布 式 系统 中 ， 
我 们 要 介绍 的 控制 器 不 是 像 CPU 中 的 控制 絮 那 样 的 具体 电子 元 件 ， 而 


征 分 布 式 系统 中 的 控制 方式 。 


分 
分 布 式 系统 是 由 多 个 节点 通过 网 络 连接 在 一 起 并 通过 消息 的 传递 进行 
, 调 


的 系统 。 控 制 右 主要 的 作用 融 是 协调 或 控制 斑点 之 间 的 动作 和 行 


我 们 先 来 看 一 下 图 1-14， 如 下 。 


请 求 发 起 请 求 处 理 


请 求 发 起 请 求 处 理 


图 1-14 ”使 用 硬件 负载 均衡 的 请 求 调用 


这 是 一 个 进行 远程 服务 调用 的 场景 ， 其 实 也 束 古 一 个 远程 的 通信 过 
程 。 在 这 个 场景 中 ， 请 求 发 起 方 需 要 确定 谁 来 处 理 这 个 请 求 ， 图 1-14 
中 的 方式 是 在 请 求 发 起 方 和 请 求 处 理 方 中 间 有 一 个 硬件 负载 均衡 设 
备 。 所 有 的 请 求 都 要 经 过 这 个 负载 均衡 设备 来 完成 请 求 转 发 的 控制 。 
这 了 束 是 一 种 控制 的 方式 。 


类 似 的 ， 我 们 可 以 看 一 下 图 1-15， 如 下 。 


请 求 发 起 


请 求 处 理 


人 


请 求 发 起 


请 求 处 理 


图 1-15 ”使 用 LVS 的 请 求 调用 


图 1-15 的 结构 和 图 1-14 是 一 样 的， 差别 仅 在 于 中 间 的 硬件 负载 均衡 设 
备 被 更 换 为 了 LVS (当然 也 可 以 是 其 他 的 软件 负载 均衡 系统 ) 。 这 种 
方式 主要 的 特点 是 代价 低 ， 而 且 可 探 性 较 强 ， 即 你 可 以 相对 目 由 地 按 
照 目 己 的 需要 去 增加 人 负载 均衡 的 策略 。 


我 们 一 般 称 上 面 的 方式 为 透明 代理 。 在 集群 中 ， 这 种 方式 对 于 发 起 请 
求 的 一 方 和 处 理 请 求 的 一 方 来 说 ， 都 是 透明 的 。 发 起 请 求 的 一 方 会 以 
为 是 中 间 的 代理 提供 了 服务 ， 而 处 理 请 求 的 一 方 会 以 为 是 中 间 的 代理 
请 求 的 服务 。 发 起 请 求 一 方 不 用 关心 有 多 少 台 机 器 提供 服务 ， 也 不 需 
要 直接 知道 这 些 提 供 服务 的 机 器 的 地 址 ， 只 需要 知道 中 间 透 明代 理 的 
地 址 就 行 了 。 这 种 方式 存在 两 个 不 足 。 第 一 个 不 足 是 会 增加 网 络 的 开 
销 ， 这 个 开销 一 方面 指 的 是 流量 ， 男 外 一 方面 指 的 是 延迟 。 如 果 使 用 
LVS 的 TUN 或 者 DR 模式 ， 那 么 从 处 理 请 求 服务 器 上 的 返回 结果 会 直接 
到 请 求 服务 的 机 器 ， 不 会 再 通过 中 间 的 代理 ， 只 有 请 求 的 数据 包 在 过 
程 中 多 了 一 次 代理 的 转发 。 在 发 送 请 求 的 数据 包 小 而 返回 结果 的 数据 
包 大 的 场景 下 ， 使 用 代理 的 模式 与 不 使 用 代理 的 模式 相 比 只 有 很 小 的 
流量 增加 ， 但 是 如 果 发 送 请 求 的 数据 包 很 大 ， 那 么 流量 增加 还 是 比较 
明显 的 。 而 延 时 方面 ， 这 里 只 是 根据 这 个 结构 提出 了 该 问题 ， 实 际 的 
影响 很 小 。 第 二 个 不 足 是 ， 这 个 透明 代理 处 于 请 求 的 必 经 路 径 上 ， 如 
果 代 理 出 现 问 题 ， 那 么 所 有 的 请 求 都 会 受到 影响 。 我 们 需要 要 考虑 代 
理 服 务 器 的 热 备 份 。 不 过 ， 在 切换 时 ， 当 时 未 完成 的 请 求 还 是 会 受到 
影响 。 当 总 体 来 说 ， 这 是 一 种 非常 方便 、 直 观 的 控制 方式 。 


接 下 来 我 们 看 第 三 种 方式 ， 如 图 1-16 所 示 。 


请 求 处 理 


名 称 服务 


图 1-16 采用 名 称 服务 的 直 连 方式 的 请 求 调用 


从 图 1-16 中 我 们 可 以 看 到 ， 同 样 是 完成 请 求 发 起 到 请 求 处 理 的 请 求 派 
发 工作 ， 与 透明 代理 方式 最 大 的 区 别 是 ， 在 请 求 发 起 方 和 请 求 处 理 方 
这 两 个 集群 中 间 没 有 代理 服务 器 这 样 的 设备 存在 ， 而 是 请 求 发 起 方 和 
请 求 处 理 方 的 直接 连接 。 在 请 求 发 起 方 和 请 求 处 理 方 的 直接 连接 外 
部 ， 有 一 个 “名 称 服务 ”的 角色 ， 它 的 作用 主要 有 两 个 ， 一 个 是 收集 提 
供 请 求 处 理 的 服务 占 的 地 址 信息 ， 男 外 一 个 是 提供 这 些 地 址 信息 给 请 
求 发 起 方 。 当 然 ， 名 称 服务 只 是 起 到 了 一 个 地 址 交换 的 作用 ， 在 发 起 
请 求 的 机 右上 ， 需 要 根据 从 名 称 服务 得 到 的 地 址 进行 负载 均衡 的 工 
作 。 也 整 是 说 ， 原 来 在 透明 代理 上 做 的 工作 被 拆 分 到 了 名 称 服务 和 发 
起 请 求 的 机 器 上 了 。 


这 种 方案 也 存在 着 目 己 的 优势 和 不 足 。 首先， 这 个 名 称 服务 不 是 在 请 
求 的 必 经 路 径 上 ， 也 融 是 说 ， 如 果 这 个 名 称 服 务 出 现 问题 ， 在 很 多 时 
候 或 者 说 我 们 有 不 少 办 法 可 以 保证 请 求 处 理 的 正常 。 其 次 ， 发 起 请 求 
的 一 方 和 提供 请 求 的 一 方 是 直 连 的 方式 ， 也 减少 了 中 间 的 路 径 以 及 可 
能 的 额外 市 宽 的 消耗 。 而 不 方便 的 地 方 主要 是 代码 的 升级 较 复 杂 。 


接 下 来 ， 我 们 看 第 四 种 方式 ， 如 图 1-17 所 示 。 


请 求 处 理 


请 求 处 理 


村 规则 服务 器 


图 1-17 采用 规则 服务 器 控制 路 由 的 请 求 直 连 调 用 


从 图 1-17 中 可 以 看 出 ， 这 种 方式 与 前 面 的 名 称 服 务 的 方式 很 像 ， 只 是 
这 里 采用 的 是 规则 服务 器 的 方式 。 首 和 完 ， 和 前 面 的 名 称 服 务 的 方式 一 
样 ， 在 这 种 控制 下 ， 请 求 发 起 和 请 求 处 理 的 机 需 也 是 直接 连接 的 ， 那 
么 请 求 发 起 的 一 方 如 何 选择 请 求 处 理 的 机 器 呢 ? 这 就 要 靠 规 则 服务 峰 
给 的 规则 了 。 所以， 在 请 求 发 起 的 机 右上 ， 会 有 对 规则 进行 处 理 从 而 
进行 请 求 处 理 服 务 机 器 移 择 的 代码 逻辑 。 这 个 方式 与 名 称 服 务 方式 的 
不 同 在 于 ， 名 称 服务 是 通过 跟 请 求 处 理 的 机 器 交互 来 获得 这 些 机 器 的 
地 址 的 ， 而 规则 服务 器 的 方式 中 ， 规 则 服务 器 本 映 并 不 和 请 求 处 理 的 
机 器 进行 交互 ， 只 负责 把 规则 提供 给 请 求 发 起 的 机 器。 


从 优 缺点 方面 来 讲 ， 规 则 服务 器 的 方式 和 名 称 服 务 的 方式 比较 类 似 ， 
这 里 就 不 再 发 述 。 


我 们 接 下 来 再 看 最 后 一 种 方式 ， 如 图 1-18 所 示 。 


图 1-18 Master 十 Worker 的 方式 


图 1-18 的 控制 方式 是 ， 存 在 一 个 Master 节 点 来 管理 任务 ， 由 Master 把 任 
务 分 配给 不 同 的 Worker 去 进行 处 理 。 这 种 方式 使 用 的 场景 和 前 面 的 几 
种 不 太一 样 。 这 里 没有 像 前 面 介绍 的 那 种 请 求 发 起 和 请 求 处 理 ， 这 个 
方式 更 多 的 是 任务 的 分 配 和 管理 。 


1.2.4.4 ”运算 器 的 变化 


看 完了 控制 硕 在 分 布 式 系统 中 的 变化 ， 我 们 接 下 来 看 一 下 运算 大 的 变 
化 。 在 单机 系统 中 ， 运 算 亏 是 具体 的 电子 元 件 ， 而 在 分 布 式 系统 中 ，， 

运算 器 是 由 多 个 节点 来 组 成 的 。 单 机 的 计算 能 力 有 上 限 ， 而 分 布 式 系 
统 中 的 运算 右 是 运用 多 个 市 点 的 计算 能 力 来 协同 完成 整体 的 计算 任 


务 


下 面 我 们 先 看 一 个 用 户 访问 单 台 服务 此 网 站 的 场景 ， 如 图 1-19 所 示 。 


网 站 服务 器 


图 1-19 单 台 服务 器 的 网 站 
可 以 看 到 ， 这 是 只 有 单 台 机 右 文 撑 的 网 站 的 情况 。 如 有 果 随 看 压力 增 


大 ， 我 们 需要 变 为 多 全 服务 器 ， 例 如 从 一 台 变 为 两 台 ， 那 会 变 成 什么 
样子 呢 ? 如 图 1-20 所 示 。 


用 所 
网 站 服务 器 
| 用 户 网 站 服务 器 


图 1-20 ”两 全 服务 器 的 网 站 


两 台 服 务 絮 一 起 完成 工作 ， 这 里 面世 有 一 个 问题 ， 用 户 应 该 去 访问 哪 
个 服务 器 呢 ?我 们 有 两 种 做 法 来 解决 ， 第 一 种 做 法 如 图 1-21 所 示 。 


eal | 网 站 服务 器 


图 1-21 用 户 访问 两 台 服 务 器 的 网 站 
这 种 办 法 是 通过 DNS 服 务 右 进行 了 调度 和 控制 ， 在 用 户 解析 DNS 的 时 
候 ， 束 会 被 给 予 一 个 服务 器 的 地 址 。 这 样 的 方式 看 起 来 束 像 我 们 在 控 
制 妖 部 分 提 到 的 名 称 服务 或 者 规则 服务 器 的 方式 ， 中 间 没 有 代理 设 
备 ， 用 户 能 直接 知道 提供 服务 的 服务 万 的 地 址 。 


我 们 还 有 男 外 一 种 方案 ， 如 图 1-22 所 示 。 


网 站 服务 器 
网 站 服务 器 


有 负载 均衡 的 网 站 


和 前 面 的 方案 不 同 ， 我 们 在 用 户 和 网 站 服务 器 中 间 增 加 了 负载 均衡 设 
备 〈 纯 硬件 或 者 LVS 等 软件 都 可 以 ) 。DNS 返 回 的 永远 是 负载 均衡 的 
地 址 ， 而 用 户 的 访问 都 是 通过 负载 均衡 到 达 后 面 的 网 站 服务 器 。 


总 结 起 来 ， 构 成 运算 器 的 多 个 节点 在 控制 器 的 配合 下 对 外 提供 服务 ， 
构成 了 分 布 式 系统 中 的 运算 器 。 


我 们 再 看 另外 一 个 场景 ， 也 是 一 个 很 经 典 的 场景 -日 志 的 处 理 ， 如 图 1- 
23 所 示 。 


图 1-22 ”用 户 访 丘 


| 


应 用 服务 器 
(日 志 源 ; 


应 用 服务 器 
日 志 处 理 服 务 器 [日 志 源 ) 


应 用 服务 器 
日志 源 ，) 


图 1-23 单 日 志 处 理 服 务 器 的 日 志 处 理 


我 们 用 一 台 日 志 人 处 理 服务 器 从 多 台 (例子 中 是 3 台 ) 服务 器 上 收集 日 志 
并 处 理 。 随 着 应 用 服务 器 的 增多 ， 单 台 日 志 处 理 服务 屁 一 定 会 过 到 问 
题 。 那 么 ， 我 们 可 以 通过 增加 日 志 处 理 服 务 器 的 数量 来 提升 处 理 日 志 
的 能 力 。 一 种 方案 如 图 1-24 所 示 ， 就 是 把 前 面 看 到 的 Master+Worker 方 
式 的 控制 器 运用 到 了 这 个 日 志 处 理 的 场景 。 


应 用 服务 器 
(日 志 源 ) 


应 用 服务 器 
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应 用 服务 器 
(日 志 源 ) 


图 1-24 “Master 控制 的 多 日 志 处 理 服务 器 的 日 志 处 理 


除了 使 用 Master 欣 制 日 志 处 理 服务 器 集群 方式 外 ， 我 们 也 可 以 采用 规 
则 服务 器 的 方式 来 协调 日 志 处 理 服 务 器 的 动作 ， 如 图 1-25 所 示 。 


应 用 服务 器 
昌 志 源 ) 


a 应 用 服务 器 
旨 志 源 ) 
”应 用 服务 器 
昌 志 源 ) 
图 1-25 ”规则 服务 器 管理 的 多 日 志 处 理 服 务 器 的 日 志 人 处理 


使 用 规则 服务 器 来 分 配 任 务 可 能 存在 的 最 大 问题 是 任务 分 配 不 均衡 。 
用 Master 世 点 的 方式 会 对 任务 的 分 配 做 得 更 好 些 ， 不 容易 导致 处 理 不 
均衡 的 问题 。 


1.2.4.5 “存储 器 的 变化 


接着 我 们 来 看 一 下 存储 器 的 变化 。 在 单机 系统 ， 我 们 一 般 把 存储 絮 分 
为 内 存 和 外 存 ， 内 存 的 数据 在 机 器 断 电 、 重 启 或 OS 裔 潢 的 情况 下 会 丢 
失 ， 而 外 存 是 用 于 长 久保 存 数据 的 。 当 然 ， 外 存 也 不 是 绝对 可 靠 的 。 
在 分 布 式 系 统 中 ， 我 们 需要 把 承担 存储 功能 的 多 个 节点 组 织 在 一 起 ， 
使 之 看 起 来 是 “一 个 ”存储 器 。 如 同 运 算 絮 部 分 的 介绍 一 样 ， 在 存储 絮 
中 ， 我 们 也 需要 通过 控制 器 的 配合 来 完成 工作 。 下 面 使 用 最 基础 的 
Key-Value 场 景 来 介绍 ， 如 图 1-26 所 示 。 


应 用 服务 器 


应 用 服务 器 


KV 存储 服务 器 


应 用 服务 器 


图 1-26 单机 的 Key-Value 服 务 


图 1-26 中 的 场景 是 多 个 应 用 服务 句 使 用 单个 KV 存储 服务 器 的 场景 。 随 
着 数据 量 的 发 展 ， 我 们 需要 把 图 中 的 一 人 台 KV 和 存储 服务 右 扩 展 到 两 台 来 
提供 服务 。 那 么 ， 我 们 该 如 何 完 成 这 个 扩展 呢 ? 

首先 来 看 第 一 种 方案 (如 图 1-27 所 示 ) ， 在 应 用 服务 器 与 KV 存储 服务 
妖 之 间 加 了 一 个 代理 服务 器。 这 个 代理 服务 器 作为 控制 紫 转 发 来 目 于 
应 用 服务 器 的 请 求 。 而 转发 请 求 使 用 的 策略 与 具体 业务 有 非 第 密切 的 
关系 。 一 般 可 以 根据 请 求 的 Key 进 行 划 分 (Sharding) 。 


应 用 服务 器 
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KV 存 情 服 务 器 
应 用 服务 器 


图 1-27 使 用 代理 的 多 机 Key-Value 服 务 


接 下 来 我 们 看 一 下 第 二 种 方案 ， 如 图 1-28 所 示 。 


代理 服务 器 


应 用 服务 


应 用 服务 


KV 存 


图 1-28 ”使 用 名 称 服 务 的 Key-Value 服 务 


图 1-28 采 用 了 和 名称 服务 的 方案 。 在 这 个 方案 中 ， 名 称 服务 用 于 管理 在 
线 的 KV 存储 服务 器 ， 并 且 把 地 址 传 到 应 用 服务 器 这 边 。 应 用 服务 右 会 
和 KV 存储 服务 器 直接 联系 。 接 下 来 看 到 的 男 外 两 种 结构 与 现在 这 个 图 
所 示 的 结构 有 些 类 似 ， 不 过 具体 的 细节 实现 上 有 很 大 老 异 。 


图 1-28 的 结构 中 ， 我 们 让 应 用 服务 器 与 KV 存储 服务 器 直接 连 返 ， 那 么 
KV 服务 器 的 选择 逻辑 束 放 在 了 应 用 服务 器 上 完成 。 在 实践 中 我 们 根据 
不 同 场景 有 两 种 实施 经 验 ， 一 个 是 通过 规则 服务 右 的 配合 ， 完 成 固定 
的 Sharding 筑 略 ; 另外 一 个 则 是 对 等 看 行 多 合 KV 存 储 服务 郁 ， 能 够 灵 
活 地 适应 KV 存 储 服务 需 的 增加 和 减少 ， 这 一 方案 我 们 放 在 后 续 章 世 的 
消 轧 中间 件 里 面 一 起 讲 ， 那 时 这 个 方案 吕 是 用 在 了 消息 中 间 件 上 。 


下 面 我 们 来 看 一 下 使 用 规则 服务 器 的 情况 (如 图 1-29 所 示 ) 。 
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图 1-29 ”使 用 规则 服务 器 的 Key-Value 服 务 


从 图 1-29 中 可 以 看 到 ， 我 们 省 去 了 名 称 服 务 。 其 实在 这 个 场景 中 ， 规 
则 服务 器 的 规则 不 仅 写 明了 如 何 对 数据 做 Sharding， 还 包含 了 具体 的 
目标 KV 存储 服务 此 的 地 址 。 例 如 ， 两 台 KV 存 储 服务 句 存 储 的 古 用 户 
数据 ， 假 设 我 们 的 规则 征用 户 编 号 为 奇数 的 数据 全 部 保存 在 第 一 人 台 ， 
用 户 编号 为 偶数 的 数据 全 部 保存 在 第 二 全 ， 那 么 在 规则 服务 器 中 束 会 
有 规则 来 描述 这 个 状况 ， 并 且 会 把 具体 符合 某 个 规则 后 需要 访问 的 KV 
存储 服务 器 的 地 址 (可 能 是 IP 地 址 ， 也 可 能 是 域名 ) 写 在 规则 中 。 所 
以 ， 这 样 可 以 省 略 掉 名 称 服 务 了 。 不 过 这 时 你 肯定 有 一 个 问题 要 问 ， 
即 如 果 KV 存 储 服务 器 出 故障 了 或 者 狐 增 加 了 ， 没 有 名 称 服务 的 感知 ， 
怎 么 让 应 用 服务 右 知 道 呢 ? 这 是 一 个 很 好 的 问题 ， 不 过 对 于 提供 持久 
数据 服务 的 情况 ， 增 加 节点 远 比 增加 一 个 无 状态 的 只 进行 计算 的 节点 
要 难 。 在 后 面 的 数据 访问 层 的 章 下 中 会 进行 更 加 详细 的 介绍 。 


下 面 再 来 看 最 后 一 种 方案 ， 如 图 1-30 所 示 。 
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图 1-30 ”通过 Master 控 制 的 Key-Value 服 务 


图 1-30 与 前 面 规则 服务 器 及 名 称 服务 的 图 看 起 来 很 像 ， 但 是 对 应 位 置 
换 成 了 Master。 这 个 结构 同样 是 应 用 服务 器 直接 访问 KV 存储 服务 器 
的 。 不 同 的 是 ，Master 是 根据 请 求 返 回 目标 KV 存储 服务 器 地 址 ， 然 后 
由 应 用 服务 器 直接 去 访问 对 应 的 KV 存储 服务 器 。 相 比 名 称 服 务 的 方 
式 ，Master 是 根据 请 求 返回 对 应 的 KV 存储 服务 器 地 址 ， 而 不 是 返回 所 
有 地 址 ， 所 以 具体 的 KV 存储 服务 器 选择 工作 在 Master 上 就 完成 了 ， 应 
用 服务 器 上 不 需要 有 更 多 的 逻辑 ， 相 比 规 则 服务 器 的 方式 ，Master 并 
不 是 把 规则 传 给 具体 应 用 服务 器 ， 再 由 应 用 服务 器 去 解析 并 完成 规则 
下 的 路 由 选择 ， 而 是 Master 目 喘 完 成 了 这 个 事情 后 把 结果 传 给 应 用 服 
务 器 ， 应 用 服务 絮 只 需要 根据 返回 的 结果 去 访问 这 个 KV 存储 服务 器 就 
De 0 
系 纪 的 全 十。 


至 此 ， 我 们 依次 介绍 了 冯 : 庄 依 曼 模型 中 计算 机 的 5 个 组 成 部 分 从 单机 
到 分 布 式 的 变化 。 下 面 我 们 来 了 解 一 下 分 布 式 系 统 中 的 难点 和 挑战 。 


1.2.5 分布 式 系统 的 难点 


1.2.5.1 ”缺乏 全 局 时 钟 


在 单机 系统 中 ， 程 序 束 以 这 个 单机 的 时 钟 为 准 ， 控 制 时 友 比 较 容易 。 
在 分 布 式 系统 中 ， 每 个 节点 都 有 目 己 的 时 钟 ， 在 通过 相互 发 送 消息 进 
行 协 调 时 ， 如 果 仍 然 依 赖 时 序 ， 束 会 相对 难处 理 。 保 持 每 个 市 点 的 时 
钟 完 全 一 致 可 能 息 直 觉 上 首先 想到 的 办 法 ， 如 采 能 够 做 到 ， 那 么 一 些 


分 布 式 系统 中 的 工程 实现 束 会 简单 很 多 。 不 过 这 个 方式 本 吴 并 没 办 法 
实现 ， 因 为 同步 本 吴 吏 存在 着 时 间 兰 ， 因 此 我 们 需要 有 其 他 办 法 来 解 
决 这 个 问题 。 很 多 时 候 我 们 使 用 时 钟 ， 它 可 以 区 分 两 个 动作 的 顺序 ， 
而 不 是 一 定 要 知道 准确 的 时 间 。 对 于 这 种 情况 ， 我 们 可 以 把 这 个 工作 
交 给 一 个 单独 的 集群 来 完成 ， 通 过 这 个 集群 来 区 分 多 个 动作 的 顺序 。 


此 外 ， 在 单机 系统 中 我 们 提 到 过 在 多 线程 和 多 进程 中 使 用 的 锁 ， 到 了 
分 布 式 环境 中 也 需要 有 相应 的 办 法 来 处 理 。 我 们 在 这 里 先 不 展开 ， 后 
面 的 章节 会 具体 介绍 相关 实现 。 


1.2.5.2” 面 对 故障 独立 性 


分 布 式 系统 由 多 个 节点 组 成 ， 整 个 分 布 式 系 统 完全 出 问题 的 概率 钙 存 
在 的 ， 但 是 在 实践 中 出 现 更 多 的 是 某 个 或 者 茶 些 下 点 有 问题 ， 而 其 他 
方太 及 网 络 设备 等 都 没 问题 。 这 种 情况 提醒 我 们 在 开发 实现 分 布 式 系 
统 时 对 问题 的 考虑 要 更 加 全 面 。 


对 于 单机 系统 来 说 ， 我 们 如 果 不 使 用 多 进程 方式 的 话 ， 基 本 不 会 遇 到 
独立 的 故障 。 束 是 说 在 单机 系统 上 的 单 进程 程序 ， 如 果 是 机 器 问题 、 
OS 问题 或 者 程序 目 身 的 问题 ， 基 本 的 结果 就 是 我 们 的 程序 整体 不 能 
了 ， 不 会 出 现 一 些 模 块 不 行 男 一 些 模块 可 以 的 情况 。 而 在 分 布 式 系统 
中 ， 整 个 系统 的 一 部 分 有 问题 而 其 他 部 分 正 滑 是 经 芝 出 现 的 情况 ， 我 
们 称 之 为 故障 独立 性 。 我 们 在 实现 分 布 式 系统 的 时 候 ， 必 须要 找到 应 
对 和 解决 故障 独立 性 的 办 法 。 


1.2.5.3 ”处 理 单 点 故障 


在 整个 分 布 式 系统 中 ， 如 果 某 个 角色 或 者 功能 只 有 某 台 单机 在 支撑 ， 
那么 这 个 节点 称 为 单 点 ， 其 发 生 的 故障 称 为 单 点 故障 ， 也 是 常 说 的 
SPoF (Single Point of Failure) 。 我 们 需要 在 分 布 式 系统 中 尽量 避免 出 
现 单 点 ， 尽 量 保证 我 们 的 功能 都 是 由 集群 完成 的 。 避 免 单 点 的 关键 就 
是 把 这 个 功能 从 单机 实现 变 为 集群 实现 ， 当 然 ， 这 种 变化 一 般 会 比较 
困难 ， 否 则 就 不 太 会 有 单 点 问题 了 。 如 果 不 能 够 把 单机 实现 变 为 集群 
实现 ， 那 么 一 般 还 有 另外 两 种 选择 ; 


。 给 这 个 单 点 做 好 备份 ， 能 够 在 出 现 问题 时 进行 恢复 ， 并 且 尽 量 做 
到 目 动 恢 复 ， 降 低 恢复 需要 用 的 时 间 。 


。 降低 单 点 故障 的 影响 范围 。 对 于 第 二 种 选择 ， 我 们 举 个 例子 来 说 
明 。 这 里 先 声明 一 下 ， 下 面 的 例子 主要 是 帮助 大 家 理解 ， 并 不 十 
最 好 的 解决 方案 。 


如 图 1-31 所 示 ， 这 个 是 一 个 交易 网 站 的 部 分 ， 应 用 访问 交易 数据 。 交 
易 数 据 放 在 一 个 数据 库 中 ， 这 束 形 成 了 单 点 。 当 然 在 现实 中 ， 我 们 会 
给 这 个 数据 库 增 加 一 个 备 库 以 解决 容 灾 的 问题 。 现 在 看 到 的 这 个 场景 
中 ， 如 果 这 台数 据 库 的 机 器 出 问题 ， 那 么 会 影响 所 有 与 交易 相关 的 操 
作 。 虽 然 这 台数 据 库 出 现 问 题 的 概率 不 高 ， 但 是 一 旦 出 现 后 果 束 非常 
疗 重 。 我 们 可 以 考虑 拆 分 数据 ， 如 图 1-32 所 示 。 


图 1-32 ” 拆 分 数据 的 交易 网 站 示意 图 


我 们 把 原来 的 一 个 交易 数据 库 拆 为 了 两 个 (根据 一 定 的 规则 做 
Sharding) ， 那 么 ， 在 单个 数据 库 出 现 问题 时 ， 影 响 的 就 不 会 是 全 间 
范围 了 。 当 且 仅 当 这 两 台数 据 库 同时 发 生 故 障 才 会 影响 全 部 范围 。 
此 ， 如 采 我 们 把 这 个 数据 库 拆 成 更 多 份 ， 单 个 数据 库 出 现 问题 的 影响 
面 就 更 小 了 。 需 要 多 台 机 器 同时 出 现 问 题 才 会 出 现 严重 故障 ， 这 个 概 
率 束 比较 低 了 。 但 是 ， 一 台数 据 库 拆 分 到 多 台数 据 库 后 ， 出 现 故 障 的 
次 数 和 总 时 间 会 比 单 台数 据 库 的 时 候 要 多 。 也 束 是 说 ， 我 们 增加 了 故 
障 出 现 的 次 数 和 时 间 ， 降 低 了 故障 的 影响 面 。 从 本 质 上 说 ， 这 种 方式 
更 多 的 是 转移 和 交换 ， 而 没有 真正 解决 或 者 帮助 解决 单 点 故障 。 


1.2.5.4 ”事务 的 挑战 


在 数据 库 理论 中 我 们 都 了 解 过 ACID。 相 对 来 说 ， 单 机 的 事务 会 容易 很 
多 。 在 分 布 式 环境 中 ， 如 何 解决 事务 问题 也 是 一 个 重要 的 部 分 。 可 能 
读者 都 听 说 过 两 阶段 提交 (2PC) 、 最 终 一 致 、 BASE 、CAP 、Paxos 
等 ， 在 这 里 我 们 先 不 做 展开 ， 后 续 的 章节 会 有 相应 的 介绍 。 


至 此 ， 我 们 把 分 布 式 系统 中 比较 基本 的 偏 实 践 的 知识 向 大 家 做 了 介 
绍 。 在 第 2 划 中 我 们 将 看 一 下 大 型 网 站 及 其 架构 演进 过 程 。 


第 2 章 ” 大 型 网 站 及 其 架构 演进 过 程 
2.1 什么 是 大 型 网 站 


通过 第 1 章 我 们 了 解 了 分 布 式 系统 的 相关 基础 知识 ， 大 型 网 站 是 一 种 很 
常见 的 分 布 式 系统 ， 而 本 书 重点 要 介绍 的 中 间 件 系统 也 是 在 大 型 网 站 
的 染 构 变化 中 出 现 并 发 展 的 ， 那 么 我 们 很 有 必要 从 大 型 网 站 的 架构 演 
进 过 程 入 手 ， 先 从 整体 上 了 解 这 个 变化 过 程 。 首 爷 ， 我 们 来 看 一 下 怎 
样 的 网 站 被 称 为 大 型 网 站 。 


关于 大 型 网 站 的 定义 ， 在 学 术 上 并 没有 精确 地 定义 ， 下 面 是 将 笔者 目 
己 的 理解 介绍 给 大 家 。 

网 站 是 用 来 访问 购 ， 访 问 量 大 就 应 该 是 大 型 网 站 。 这 个 说 法 不 全 对 ， 
从 www.alexa.com 上 可 以 看 到 不 同 网 站 的 大 概 访问 量 ， 排 在 前 面 的 都 是 
比较 出 名 且 大 型 的 网 站 。 不 过 我 在 这 里 举 一 个 反例 ， 在 我 写 这 段 内 容 


的 时 候 ， 下 面 这 个 网 站 在 中 国 的 Traffic Rank 的 排名 是 第 179 位 ， 在 整 
个 互联 网 的 排名 征 第 1301 位 ， 这 个 网 站 怎么 说 也 不 算 小 了 。 来 看 看 我 
说 的 是 哪个 网 站 吧 ， 如 图 2-1 所 示 。 


Site Information for tao123.com | Get Details | 
BB Alexa Traffic Rank: 1,301 Bi Traffic Rank in CN: 179 
of Sites Linking In: 4,516 会 会 会 会 会 


Su 


Search Results for tao123.com 


图 2-1 Alexa 上 tao123.com 的 排名 信息 


再 看 看 这 个 站 后 ， 如 图 2-2 所 示 。 
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图 2-2 ”tao123.com 的 界面 


看 到 这 里 ， 我 想 大 家 不 会 认为 上 面 这 个 网 站 本 映 是 一 个 大 型 网 站 了 。 
这 么 看 来 访问 量 很 大 不 是 成 为 大 型 网 站 的 一 个 充分 条 件 。 
我 们 再 看 看 数据 量 ， 数 据 量 应 该 是 我 们 关注 的 另 一 个 维度 的 条 件 。 一 
个 大 型 网 站 应 该 有 大 量 的 数据 ， 或 者 说 是 海量 数据 才 行 。 


在 我 看 来 ， 访 问 量 和 数据 量 二 者 缺 一 不 可 。 仪 有 访问 量 的 例子 前 面 已 
经 给 大 家 看 了 ; 对 于 仅 有 数据 量 的 情况 ， 我 们 可 以 简单 想象 一 下 ， 一 
个 网 站 有 非常 多 的 数据 ， 可 是 每 天 访问 量 很 低 ， 页 面 浏览 量 (PV) 也 
很 低 ， 那 这 个 网 站 肯定 也 不 算是 大 型 网 站 。 此 外 ， 除 了 海量 数据 和 高 
并 发 的 访问 量 ， 本 身 业 务 和 系统 的 复杂 度 也 是 考察 的 方面 。 


大 型 网 站 要 文 撑 海量 的 数据 和 非常 高 并 发 的 访问 量 ， 那 么 它 肯 定 征 一 
个 分 布 式 系统 。 即 便 你 用 小 型 机 而 不 是 PC Server， 你 也 需要 用 集群 来 
文 撑 而 不 是 靠 单机 。 我 没有 见 过 也 没有 用 过 大 型 机 ， 关 于 用 大 型 机 来 
实现 的 情况 ， 这 里 暂 不 讨论 。 


2.2 ”大 型 网 站 的 架构 演进 


我 们 现在 常用 的 大 型 网 站 都 是 从 小 网 站 一 步 一 步 发 展 起 来 的 ， 这 个 过 
程 中 会 有 一 些 通用 的 问题 要 解决 ， 而 这 些 也 是 我 们 构建 中 间 件 系统 的 
基础 ， 那 么 我 们 就 从 最 简单 的 网 站 结构 开始 ， 看 看 随 着 网 站 从 小 到 大 
的 变化 ， 网 站 架构 发 生 了 哪些 变化 。 


用 Java 技 术 和 单机 来 构建 的 网 


我 们 先 从 最 人 简单 的 开始 吧 。 说 到 做 网 站 ， 不 管 大 家 是 目 己 动手 实践 
过 ， 还 是 听 说 过 ， 肯 定 能 反应 出 很 多 技术 名 词 ， 例 如 LAMP、MVC 框 
总 、JSP 、Spring 、Struts 、Hibernate、 HTML 、CSS、JavaScript、 
Python， 等 等 。 


笔者 最 早 接触 网 站 是 在 1998 年 ， 那 个 时 候 主 要 是 上 网 看 新 闻 、 收 发 电 
子 邮 件 ， 当 时 只 了 解 HIML。 到 了 2000 年 的 时 候 ， 接 触 了 一 些 ASP， 

和 弄 明 白 怎 么 做 动态 的 内 容 。 当 时 ， 大 家 都 是 在 自己 的 机 器 上 搭建 一 
个 环境 来 学 习 相 关 技 术 ， 或 者 做 开发 和 测试 。 我 们 可 以 看 一 下 采用 
Java 技 术 、 使 用 单机 构建 的 网 站 的 样子 。 


我 们 基本 上 会 选择 一 个 开源 的 Server 作 为 容器 ， 直 接 使 用 JSP/Servlet 等 
技术 或 者 使 用 一 些 开 源 框 架 来 构建 我 们 的 应 用 ;选择 一 个 数据 库 管理 
系统 来 存储 数据 ， 通 过 JDBC 进 行 数 据 库 的 连接 和 操作 一 这样， 一 个 


最 基础 的 环境 就 可 以 工作 了 (如 图 2-3 所 示 ) 。 相 信 很 多 在 学 校 接触 网 
站 开发 的 同学 都 是 从 这 样 的 做 法 开始 的 。 


Application Server 


图 2-3 ”技术 单机 构建 的 网 站 


对 于 实际 的 大 型 网 站 来 说 ， 情 况 远 比 我 们 看 到 的 这 个 例子 要 复杂 。 我 
们 回顾 一 下 在 前 面 章 节 中 讲 到 的 计算 机 的 组 成 部 分 ， 在 大 型 网 站 中 ， 
其 实 最 核心 的 功能 驶 是 计算 和 存储 。 在 图 2-3 中 ，DB 束 是 用 来 存储 数 
据 的 ， 而 Application Server 完 成 了 业务 功能 和 逻辑 ， 是 用 于 计算 的 。 
一 个 网 站 从 小 到 大 的 演进 可 以 说 都 是 在 围绕 着 这 两 个 方面 进行 处 理 。 
因此 图 2-3 所 示 的 网 站 可 以 作为 我 们 的 一 个 起 点 。 


2.2.2 ”从 一 个 单机 的 交易 网 站 说 起 


为 了 更 好 地 说 明 网 站 从 小 到 大 的 演进 过 程 ， 我 们 下 面 举 一 个 交易 类 网 
站 的 例子 。 当 然 ， 这 个 例子 和 积 0 
类 网 站 的 真实 过 程 ， 而 是 冰 ' 合 了 通用 的 杂 构 变化 方式 的 一 个 示例 ， 
样 能 更 好 地 说 明 问 题 。 


此 外 ， 还 有 两 点 要 说 明 。 首 先 ， 我们 下 面 重 点 关注 的 是 随 着 数据 量 、 
访问 量 提 升 ， 网 站 结构 发 生 了 什么 变化 ， 而 不 关注 具体 的 业务 功能 
点 。 其 次 ， 下 面 的 网 站 演进 过 程 是 为 了 让 大 家 更 好 地 了 解 网 站 演进 过 
人 
区 站 。 


作为 一 个 交易 网 站 ， 需 要 具备 的 最 基本 功能 有 三 部 分 ; 


ee 


ee 


。 交易 


o 交易 管理 


ee ee 


现在 的 交易 网 站 有 很 多 ， 并 且 功 能 非 第 不 是。 我 们 从 简单 的 开始 ， 假 
设 我 们 只 文 持 这 三 部 分 的 功能 ， 那 么 ， 基 于 Java 技 术 用 单机 来 构建 这 
个 交易 网 站 的 话 ， 大 概 会 会 是 图 2.4 的 样子 。 
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图 2-4 基于 Java 技 术 用 单机 构建 的 交易 网 站 

与 图 2-3 的 结构 是 一 样 的 ， 在 这 里 有 两 个 地 方 需 要 注意 ， 即 各 个 功能 模 

块 之 间 是 通过 JVM 内 部 的 方法 调用 来 进行 交互 的 ， 而 应 用 和 数据 库 之 

间 古 通过 JDBC 进 行 访问 的 。 后 面 围绕 铸 这 两 个 部 分 会 有 不 同 的 变化 。 
> 

2.2.3 ”单机 负载 告警 ， 数 据 库 与 应 用 

我 们 很 幸运 ， 网 站 对 外 服务 后 ， 访 问 量 不 断 增 大 ， 我 们 这 个 服务 右 的 


人 负载 持续 升 高 ， 必 须要 采取 一 些 办 法 来 应 对 了 。 这 里 我 们 先 不 考虑 更 
换 机 器 或 各 种 软件 层面 的 优化 。 我 们 来 看 一 下 结构 上 的 变化 。 首 先 我 


们 可 以 做 的 就 是 把 数据 库 与 应 用 从 一 台 机 器 分 到 两 台 机 器 ， 那 么 ， 我 
们 的 网 站 结构 会 变 成 图 2-5 所 示 的 样子 。 
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图 2-5 ”应 用 与 数据 库 分 开 的 结构 


网 站 的 机 器 从 一 台 变 成 了 两 台 ， 这 个 变化 对 于 我 们 来 说 影响 很 小 。 单 
机 的 情况 下 ， 我 们 的 应 用 也 是 采用 JDBC 的 方式 同 数 据 库 进行 连接 ， 现 
在 数据 库 与 应 用 分 开 了 ， 我 们 只 是 在 应 用 的 配置 中 把 数据 库 的 地 址 从 
0 对 开发 、 测 试 、 部 署 都 没有 什么 影 
H。 


调整 以 后 我 们 能 够 缓解 当前 的 系统 压力 ， 不 过 随 着 时 间 的 推移 ， 访 问 
量 继续 增 大 ， 我 们 的 系统 还 是 需要 继续 演进 的 。 


2.2.4 ”应 用 服务 口 负载 告警 ， 如 何 让 
应 用 服务 咒 走 回 集 群 


我 们 接着 看 一 下 应 用 服务 万 压力 变 大 的 情况 。 


应 用 服务 万 压力 变 大 时 ， 根 据 对 应 用 的 监测 结 有 末 ， 可 以 有 针对 性 地 进 
行 优化 。 我 们 这 里 要 介绍 的 是 把 应 用 从 单机 变 为 集群 的 优化 方式 。 


先 来 看 一 下 这 个 变化 ， 如 图 2-6 所 示 。 
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在 图 2-6 中 ， 应 用 服务 占 从 一 台 变 为 了 两 台 。 这 两 个 应 用 服务 名 之 间 没 
有 直接 的 交互 ， 它 们 都 是 依赖 数据 库 对 外 提供 服务 的 。 在 增加 了 一 全 
应 用 服务 器 后 ， 我 们 有 下 面 两 个 问题 需要 解决 : 


。 最 终 用 户 对 两 个 应 用 服务 需 访 问 的 选择 问题 。 这 在 前 面 的 章 蔬 提 
到 过 ， 可 以 通过 DNS 来 解决 ， 也 可 以 通过 在 应 用 服务 器 集群 前 增 
加 负载 均衡 设备 来 解决 。 我 们 这 里 选择 第 二 种 方案 。 

。 Session 的 问题 。 接 下 来 束 会 详细 讲述 。 


2.2.4.1 引入 负载 均衡 设备 
采用 了 负载 均衡 设备 后 ， 系 统 的 结构 看 起 来 如 图 2-7 所 示 。 


负载 均衡 器 
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交 || 商 || 用 交 || 商 | | 用 
易 || 品 | | 记 易 || 品 | | 户 


Application Server Application Server 


图 2-7 引入 负载 均衡 设备 的 结构 


这 时 ， 我 们 会 遇 到 一 个 与 Session 相 关 的 问题 ， 下 面 介 绍 什么 是 Session 
问题 ， 以 及 如 何 解 决 它 。 


人 解决 应 用 服务 咒 变 为 集群 后 的 Session 问 


先 来 看 一 下 什么 是 Session 。 


用 户 使 用 网 站 的 服务 ， 基 本 上 需要 浏 贤 絮 与 Web 服 务 絮 的 多 次 交互 。 
HTTP 协 议 本 身 是 无 状态 的 ， 需 要 基于 HTTP 协 议 支 持 会 话 状态 

(Session State) 的 机 制 。 而 这 样 的 机 制 应 该 可 以 使 Web 服 务 器 从 多 次 
单独 的 HTTP 请 求 中 看 到 “会 话 ?”， 也 就 是 知道 哪些 请 求 是 来 自 哪 个 会 话 
的 。 具 体 实现 方式 为 : 在 会 话 开 始 时 ， 分 配 一 个 唯一 的 会 话 标识 

(SessionId) ， 通 过 Cookie 把 这 个 标识 告诉 浏览 器 ， 以 后 每 次 请 求 的 
时 候 ， 浏 览 器 都 会 融 上 这 个 会 话 标识 来 告诉 Web 服 务 器 请 求 是 属于 哪 
个 会 话 的 。 在 Web 服 务 絮 上 ， 各 个 会 话 有 独立 的 存储 ， 保 存 不 同 会 话 
的 信息 。 如 果 人 直到 禁用 Cookie 的 情况 ， 一 般 的 做 法 就 是 把 这 个 会 话 标 
识 放 到 URL 的 参数 中 。 我 们 可 以 通过 图 2-8 来 看 一 下 上 壕 过 程 。 
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图 2-8 ”Session 


当 我 们 的 应 用 服务 器 从 一 台 变 到 两 台 后 ， 如 同 图 2-7 中 的 结构 ， 我 们 束 


会 遇 到 Session 的 问题 了 。 上 有 具体 是 指 什么 问题 呢 ? 


我 们 来 看 图 2-9， 当 一 个 带 有 会 话 标识 的 HTTP 请 求 到 了 了 Web 服务器 
后 ， 需 要 在 HTTP 请 求 的 处 理 过 程 中 找到 对 应 的 会 话 数 据 
(Session) 。 而 问题 就 在 于 ， 会 话 数 据 是 需要 保存 在 单机 上 的 。 


在 图 2-9 所 示 的 网 站 中 ， 如 末 我 第 一 次 访问 网 站 时 请 求 落 到 了 左边 的 服 
务 右 ， 那 么 我 的 Session 束 创建 在 左边 的 服务 右上 了 ， 如 果 我 们 不 做 处 


理 ， 束 不 能 保证 接 下 来 的 请 求 每 次 都 落 在 同一 边 的 服务 右上 了 ， 这 束 


是 Session 问 题 。 


师 Sessionld through cookie 
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图 2-9 ”负载 均衡 、 应 用 集群 与 Session 


我 们 看 看 这 个 问题 的 几 种 解决 方案 。 
1. Session Sticky 


在 单机 的 情况 下 ， 会 话 保 存在 单机 上 ， 请 求 也 都 是 由 这 个 机 融 处 理 ， 
所 以 不 会 有 问题 。Web 服 务 右 变 成 多 台 以 后 ， 如 末 保 证 同一 个 会 话 的 
请 求 都 在 同一 个 Web 服 务 器 上 处 理 ， 那 么 对 这 个 会 话 的 个 体 来 说 ， 与 
之 前 单机 的 情况 是 一 样 的 。 


如 果 要 做 到 这 样 ， 束 需要 负载 均衡 器 能 够 根据 每 次 请 求 的 会 话 标 识 来 
进行 请 求 转发 ， 如 图 2-10 所 示 ， 称 为 Session Sticky 方 式 。 


Browser 


Browser 


图 2-10 ”Session Sticky 方 式 


这 个 方案 本 身 非常 简单 ， 对 于 Web 服 务 器 来 说 ， 该 方案 和 单机 的 情况 
古 一 样 的 ， 只 是 我 们 在 负载 均衡 器 上 做 了 “手脚 *。 这 个 方案 可 以 让 同 
样 Session 的 请 求 每 次 都 发 送 到 同一 个 服务 右 问 处理， 非常 利于 针对 
Session 进 行 服务 旧病 本 地 的 缓存 。 不 过 也 带 来 了 如 下 几 个 问题 : 


。 如 果 有 一 台 Web 服 务 器 宕 机 或 者 重 局， 那么 这 台 机 器 上 的 会 话 数 
e000 如 如 末 会 话 中 有 登录 状态 数据 ， 那 么 用 户 束 要 重新 登 

。 会 话 标 识 是 应 用 层 的 信息 ， 那 么 负载 均衡 器 要 将 同一 个 会 话 的 请 
求 都 保存 到 同一 个 Web 服务器 上 的 话 ， 就 需要 进行 应 用 层 (第 7 
层 ) 的 解析 ， 这 个 开销 比 第 4 层 的 交换 要 大 。 


。 负载 均衡 大 变 为 了 一 个 有 状态 的 节点 ， 要 将 会 话 保存 到 具体 Web 
服务 夯 的 映射 。 和 无 状态 的 节点 相 比 ， 内 存 消耗 会 更 大 ， 容 灾 方 
面 会 更 麻烦 。 


这 种 方式 我 们 称 为 Session Sticky。 打 个 比方 来 说 ， 如 果 说 Web 服 务 妖 
是 我 们 每 次 吃饭 的 饭店 ， 会 话 数 据 就 是 我 们 吃饭 用 的 碗 各 。 要 保证 每 
次 吃饭 都 用 上 自己 的 磋 伐 的话 ， 我 就 把 餐具 存在 某 一 家 ， 并 量 每 次 都 去 
这 家 店 吃 ， 是 个 不 错 的 主意 。 


2. Session Replication 


如 果 我 们 继续 以 去 饭店 吃饭 类 比 ， 那 么 除了 前 面 的 方式 之 外 ， 如 果 我 
在 每 个 店 里 都 存放 一 套 上 自己 的 餐具 ， 不 就 可 以 更 加 自由 地 选择 饭店 了 
2 Replication 束 是 这 样 的 一 种 方式 ， 这 一 点 从 字面 上 也 很 容 
易 看 出 来 。 


先 看 一 下 图 2-11， 如 下 。 


Browser Browser 
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图 2-11 ”Session Replication 方 式 


可 以 看 到 ， 在 Session Replication 方 式 中 ， 不 再 要 求 负载 均衡 历来 保证 
同一 个 会 话 的 多 次 请 求 必 须 到 同一 个 Web 服务 器 上 了 。 而 我 们 的 Web 
服务 器 之 间 则 增加 了 会 话 数据 的 同步 。 通 过 同步 束 保 证 了 不 同 Web 服 
务 絮 之 则 的 Session 数 据 的 一 人 怪 。 就 如 同 每 家 饭店 都 有 我 的 碗 和 红 ， 我 就 
能 随便 选择 去 哪 家 吃饭 了 。 


一 般 的 应 用 容器 都 支持 (包括 了 商业 的 和 开源 的 ) Session Replication 
方式 ， 与 Session Sticky 方 案 相 比 ，Session Replication 方 式 对 负载 均衡 


没有 那么 多 的 要 求 。 不 过 这 个 方案 本 喘 也 有 问题 ， 而 且 在 一 些 场景 
， 问 题 非常 产 重 。 我 们 来 看 一 下 这 些 问题 。 


。 同步 Session 数 据 造 成 了 网 络 带宽 的 开销 。 只 要 Session 数 据 有 变 
化 ， 束 需要 将 数据 同步 到 所 有 其 他 机 絮 上 ， 机 絮 数 越 多 ， 同 步 禹 
来 的 网 络 囊 宽 开 销 就 越 大 。 

。 每 台 Web 服 务 絮 者 要 保存 所 有 的 Session 数 据 ， 如 果 整 个 集群 的 
Session 数 很 多 (很 多 人 在 同时 访问 网 站 ) 的 话 ， 每 台 机 器 用 于 保 
存 Session 数 据 的 内 容 占用 会 很 严重 。 


这 就是 Session Replication 方 案 。 这 个 方案 是 靠 应 用 容器 来 完成 Session 
的 复制 从 而 使 得 应 用 解决 Session 问 题 的 ， 应 用 本 和 号 并 不 用 关心 这 个 事 
情 。 不 过 ， 这 个 方案 不 适合 集群 机 器 数 多 的 场景 。 如 果 只 有 几 台 机 
句 ， 用 这 个 方案 是 可 以 的 。 


3. Session 数 据 集 中 存储 
同样 是 希望 同一 个 会 话 的 请 求 可 以 发 到 不 同 的 Web 服务 器 上， 刚才 的 


Session Replication 是 一 种 方案 ， 还 有 另 一 种 方案 丈 是 把 Session 数 据 集 
中 存储 起 来 ， 然 后 不 同 Web 服 务 器 从 同样 的 地 方 来 获取 Session。 大 概 
的 结构 如 图 2-12 所 示 。 


器 
下 


Browser Browser 
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图 2-12 集中 存储 Session 方 式 


可 以 看 到 ， 与 Session Replication 方 案 一 样 的 部 分 是 ， 会 话 请 求 经 过 负 
载 均衡 句 后 ， 不 会 被 固定 在 同样 的 Web 服务 右上 。 不 同 的 地 方 是 ， 

Web 服 务 器 之 间 没 有 了 Session 数 据 复制 ， 并 且 Session 数 据 也 不 是 保存 
在 本 机 了 ， 而 是 放 在 了 男 一 个 集中 存储 的 地 方 。 这 样 ， 不 论 是 哪 台 
Web 服 务 絮 ， 也 不 论 修 改 的 是 哪个 Session 数 据 ， 最 终 的 修改 都 发 生 在 
这 个 集中 存储 的 地 方 ， 而 Web 服务器 使 用 Session 数 据 时 ， 也 是 从 这 个 
集中 存储 Session 数 据 的 地 方 来 读 取 。 这 样 的 方式 保证 了 不 同 Web 服 务 
右上 读 到 的 Session 数 据 都 是 一 样 的 。 而 存储 Session 数 据 的 具体 方式 ， 


可 以 使 用 数据 库 ， 也 可 以 使 用 其 他 分 布 式 存 储 系统 。 这 个 方案 解决 了 
Session Replication 方 案 中 内 存 的 问题 ， 而 对 于 网 络 带宽 ， 这 个 方案 也 
比 Session Replication 要 好 。 该 方案 存在 的 问题 是 什么 呢 ? 


。 读 写 Session 数 据 引 入 了 网 络 哥 作 ， 这 相对 于 本 机 的 数据 读 取 来 
说 ， 问 题 就 在 于 存在 时 延 和 不 稳定 性 ， 不 过 我 们 的 通信 基本 都 是 
发 生 在 内 网 ， 问 题 不 大 。 

。 i 问题 ， 融 会 影响 我 们 的 应 


相对 于 Session Replication ， 当 Web 服 务 恬 数量 比较 大 、S$ession 数 比较 
多 的 时 候 ， 这 个 集中 存储 方案 的 优势 是 非常 明显 的 。 


4. Cookie Based 
Cookie Based 方 案 是 要 介绍 的 最 后 一 个 解决 Session 问 题 的 方案 。 这 个 
方案 对 于 同一 个 会 话 的 不 同 请 求 也 是 不 限制 具体 处 理 机 器 的 。 和 


Session Replication 以 及 Session 数 据 集 中 管理 的 方案 不 同 ， 这 个 方案 是 
通过 Cookie 来 传递 Session 数 据 的 。 还 是 先 看 看 下 面 的 图 2-13 吧 。 
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Cookie 包 Cookie 包 
含 Session 含 Session 
负载 均衡 器 
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生成 Session 数 据 生成 session 数据 


图 2-13 ”Cookie Based 的 方式 


从 图 2-13 可 以 看 到 ， 我 们 的 Session 数 据 放 在 Cookie 中 ， 然 后 在 Web 服 
务 器 上 从 Cookie 中 生成 对 应 的 Session 数 据 。 这 束 好 比 我 每 次 都 把 目 己 
的 碗 筷 市 在 刁 上， 这 样 我 去 哪 家 饭店 吃饭 就 可 以 随意 选择 了 。 相 对 于 
前 面 的 集中 存储 ， 这 个 方案 不 会 依赖 外 部 的 一 个 存储 系统 ， 也 就 不 存 
在 从 外 部 系统 获取 、 写 入 Session 数 据 的 网 络 时 延 、 不 稳定 性 了 。 不 
过 ， 这 个 方案 依然 存在 不 足 : 


。 Cookie 长 度 的 限制 。 我 们 知道 Cookie 是 有 长 度 限制 的 ， 而 这 也 会 
限制 Session 数 据 的 长 度 。 

。 安全 性 。Session 数 据 本 来 都 是 服务 端 数据 ， 而 这 个 方案 是 让 这 些 
服务 端 数据 到 了 外 部 网 络 及 客户 端 ， 因 此 存在 安全 性 上 的 问题 。 


我 们 可 以 对 写 入 Cookie 的 Session 数 据 做 加 密 ， 不 过 对 于 安全 来 
说 ， 物 理 上 不 能 接触 才 是 安全 的 。 

。 市 多 消耗 。 这 里 指 的 不 是 内 部 Web 服 务 器 之 间 的 带宽 消耗 ， 而 是 
我 们 数据 中 心 的 整体 外 部 带宽 的 消耗 。 

。 性 能 影响 。 每 次 HTTP 请 求 和 响应 都 带 有 Session 数 据 ， 对 Web 服 务 
铬 来 说 ， 在 同样 的 处 理 情 况 下 ， 啊 应 的 结果 输出 越 少 ， 支 持 的 并 
发 请 求 束 会 越 多 。 


2.2.4.3 ”小 结 


前 面 介绍 了 人 Web 服务 絮 从 单机 到 多 机 情况 下 的 Session 问 题 的 解决 方 
案 。 这 4 个 方案 都 是 可 用 的 方案 ， 不 过 对 于 大 型 网 站 来 说 ，Session 
Sticky 和 Session 数 据 集中 存储 是 比较 好 的 方案 ， 而 这 两 个 方案 义 各 有 
优 务 ， 需 要 在 具体 的 场景 中 做 出 选择 和 权衡 。 


不 管 采 用 上 述 何 种 方案 ， 我 们 都 可 以 在 一 定 程度 上 通过 增加 Web 服 务 


颖 的 方式 来 提升 应 用 的 处 理 能 力 了 。 接 下 来 ， 我 们 来 看 一 下 数据 库 方 
面 的 变化 。 


2.2.5 ”数据 读 压力 变 大 ， 读 写 分 离 吧 
2.2.5.1 ”采用 数据 库 作 为 读 库 


随 着 业务 的 发 展 ， 我 们 的 数据 量 和 访问 量 都 在 增长 。 对 于 大 型 网 站 来 
说 ， 有 不 少 业 务 是 读 多 写 少 的 ， 这 个 状况 也 会 直接 反应 到 数据 库 上 。 
那么 对 于 这 样 的 情况 ， 我 们 可 以 考虑 使 用 读 写 分 离 的 方式 。 


从 图 2-14 中 可 以 看 到 ， 我 们 在 前 面 的 结构 上 增加 了 一 个 读 库 ， 这 个 库 
不 承担 写 的 工作 ， 只 提供 读 服务 。 


InJVM method 
invocation fi 


DB4Read 


图 2-14 加 入 读 库 后 的 架构 
这 个 结构 的 变化 会 带 来 两 个 问题 : 


。 数据 复制 问题 。 
。 应 用 对 于 数据 源 的 选择 问题 。 


我 们 希望 通过 读 库 来 分 担 主 库 上 读 的 压力 ， 那 么 首 移 融 需 要 解决 数据 
皇 么 复制 到 读 库 的 问题 。 数 据 库 系统 一 般 都 提供 了 数据 复制 的 功能 ， 
我 们 可 以 直接 使 用 数据 库 系 统 的 目 身 机 制 。 但 对 于 数据 复制 ， 我 们 还 
需要 考虑 数据 复制 时 延 问题 ， 以 及 复制 过 程 中 数据 的 源 和 目标 之 间 的 
映射 天 系 及 过 滤 条 件 的 文 持 问题 。 数 据 复制 延迟 融 来 的 吏 是 短期 的 数 
据 不 一 致 。 例 如 我 们 修改 了 用 户 信 息 ， 在 这 个 信息 还 没有 复制 到 读 库 
时 《因为 延迟 ) ， 我 们 从 读 库 上 读 出 来 的 信息 就 不 是 最 新 的 ， 如 果 把 
这 个 信息 给 进行 修改 的 人 看 ， 束 会 让 他 觉得 没有 修改 成 功 。 


不 同 的 数据 库 系 统 有 不 同 的 支持 。 例 如 MySQL 支 持 Master 〈 主 库 ) 
+Slave 〈 备 库 ) 的 结构 ， 提 供 了 数据 复制 的 机 制 。 在 MySQL 5.5 之 前 
的 版 本 支持 的 都 是 异步 的 数据 复制 ， 会 有 延迟 ， 并 且 提 供 的 是 完全 镜 
像 方式 的 复制 ， 保 证 了 备 库 和 主 库 的 数据 一 致 性 (这 里 是 指 不 考 虚 延 
迟 的 影响 时 ) 。 而 在 MySQL 5.5 中 加 入 了 对 semi-sync 的 支持 ， 从 数据 
安全 性 上 来 说 ， 它 比 异 步 复 制 要 好 ， 不 过 从 我 们 做 读 写 分 离 的 角度 来 
看 ， 还 是 存在 着 复制 延迟 的 可 能 。 再 例如 Oracle， 之 前 接触 的 主要 是 
Data Guard 方 案 ， 这 个 方案 主要 用 于 容 灾 、 数 据 库 保护 以 及 故障 恢复 
等 场景 ， 该 方案 在 实施 中 又 分 为 物理 备 库 (物理 StandBy) 和 逮 辑 备 库 

(逻辑 StandBy) 。 在 Oracle 10g 以 前 ， 物 理 备 库 是 不 可 读 的 ， 但 是 物 
理 备 库 保证 了 日 志和 与 主 库 的 一 致 ， 是 很 强 的 数据 保证 的 做 法 ;而 逻辑 
人 不 过 在 有 大 量 更 新 操作 时 ， 它 会 有 非常 明显 的 
延 挨 。 


前 面 描述 了 这 么 多 ， 一 方面 是 为 了 让 大 家 简单 了 解数 据 库 系统 目 身 的 
一 些 文 持 ， 另 一 方面 也 是 为 了 说 明 数 据 库 系统 层面 提供 的 对 数据 复制 
的 文 持 是 相对 有 限 的 。 后 面 在 分 布 式 数据 访问 层 的 章 万 会 展开 介绍 这 
部 分 ， 并 详细 介绍 笔者 目 己 的 一 些 经 历 。 


对 于 应 用 来 说 ， 增 加 一 个 读 库 对 结构 变化 有 一 个 影响 ， 即 我 们 的 应 用 
需要 根据 不 同情 况 来 选择 不 同 的 数据 库 产 。 写 操作 要 走 主 库 ， 事 务 中 
的 读 也 要 走 主 库 ， 而 我 们 也 要 考虑 到 备 库 数 据 相 对 于 主 库 数据 的 延 
迟 。 束 是 说 即便 十 不 在 事务 中 的 读 ， 考 虑 到 备 库 的 数据 延迟 ， 不 同业 
务 下 的 选择 也 会 有 差异 。 


提 到 读 写 分 离 ， 我 们 更 多 地 是 想到 数据 库 层 面 。 事 实 上 ， 广 义 的 读 写 
分 离 可 以 扩展 到 更 多 的 场景 。 我 们 看 一 下 读 写 分 离 的 特点 。 傈 单 来 说 
束 古 在 原 有 读 写 设施 的 基础 上 增加 了 读 “ 库 ”， 更 合适 的 说 法 应 该 古 增 
加 了 读 “ 源 ”， 因 为 它 不 一 定 是 数据 库 ， 而 只 是 提供 读 服 务 的 ， 分 担 原 
来 的 读 写 库 中 读 的 压力 。 因 为 我 们 增加 的 是 一 个 读 “ 源 ”， 所 以 需要 解 
决 问 这 个 “ 源 ” 复 制 数据 的 问题 。 


2.2.5.2 ”搜索 引擎 其 实 是 一 个 读 库 
把 搜索 引擎 列 在 这 里 可 能 出 平 很 多 读者 的 意料 。 这 里 列 出 搜索 引擎 不 


征 要 讲 与 搜索 相关 的 技术 或 方案 ， 而 更 多 的 是 要 介绍 大 型 网 站 的 站 内 
搜索 功能 。 


以 我 们 所 举 的 交易 网 站 为 例 ， 商 品 存 储 在 数据 库 中 ， 我 们 需要 实现 让 
用 户 碍 找 商 品 的 功能 ， 尤 其 旦 根据 商品 的 标题 来 查找 的 功能 。 对 于 这 
样 的 情况 ， 可 能 有 读者 会 想到 数据 库 中 的 like 功 能 ， 这 确实 是 一 种 实现 
方式 ， 不 过 这 种 方式 的 代价 也 很 大 。 还 可 以 使 用 搜索 引擎 的 倒 排 表 方 
式 ， 它 能 够 大 大 提升 检索 速度 。 不 论 是 通过 数据 库 还 是 搜索 引擎 ， 根 
人 如 何 对 记录 进行 排序 都 是 很 


搜索 引擎 要 工作 ， 首 要 的 一 点 征 需要 根据 被 搜索 的 数据 来 构建 索引 。 
随 看 被 搜索 数据 的 变化 ， 索 引 也 要 进行 改变 。 这 里 所 说 的 索引 可 以 理 
解 为 前 面 例子 中 读 库 的 数据 ， 只 不 过 索引 的 是 真实 的 数据 而 不 是 镜 像 
关系 。 而 引入 了 搜索 引擎 之 后 ， 我 们 的 应 用 也 需要 知道 什么 数据 应 该 
走 搜索 ， 什 么 数据 应 该 走 数据 库 。 构 建 搜索 用 的 索引 的 过 程 吏 是 一 个 
数据 复制 的 过 程 ， 只 不 过 不 是 简单 复制 对 应 的 数据 。 我 们 还 是 看 一 下 
引入 搜索 引擎 之 后 的 结构 ， 如 图 2-15 所 示 。 


图 2-15 引入 搜索 引擎 的 结构 


可 以 看 到 ， 搜 索 集 群 (Search Cluster) 的 使 用 方式 和 读 库 的 使 用 方式 
是 一 样 的 。 只 是 构建 索引 的 过 程 基本 都 是 需要 我 们 目 己 来 实现 的 。 可 
以 从 两 个 维度 对 于 搜索 系统 构建 索引 的 方式 进行 划分 ， 一 种 是 按照 全 
量 / 增 量 划分 ， 一 种 是 按照 实时 / 非 实 时 划分 。 全 量 方式 用 于 第 一 次 建 
立 索 引 〈 可 能 是 新 建 ， 也 可 能 是 重建 ) ， 而 增 量 方式 用 于 在 全 量 的 基 


础 上 持续 更 新 索引 。 当 然 ， 增 量 构建 索引 的 挑战 非常 大 ， 一 般 会 加 入 
日 的 全 量 作为 补充 。 实 时 / 非 实时 的 划分 方式 则 体现 在 索引 更 新 的 时 
间 上 了 。 我 们 当然 更 倾 品 于 实时 的 方式 ， 之 所 以 有 非 实时 方式 ， 主 要 
征 考 虑 到 对 数据 源头 的 保护 。 


总 体 来 说 ， 搜 索引 警 的 技术 解决 了 站 内 搜索 时 某 些 场景 下 读 的 问题 ， 
提供 了 更 好 的 查询 效率 。 并 且 我 们 看 到 的 站 内 搜索 的 结构 和 使 用 读 库 
征 非常 类 似 的 ， 我 们 可 以 把 搜索 引擎 当成 一 个 读 库 。 


2.2.5.3 ”加 速 数据 读 取 的 利器 一 一 缓存 


绥 存 ， 也 束 是 我 们 第 说 的 Cache， 来 源 于 1967 年 的 一 篇 电子 工程 期 刊 论 
文 。 缓 存 的 概念 在 早期 主要 用 于 计算 机 硬件 中 ， 例 如 CPU 的 高 速 组 
存 、 硬 盘 中 的 缓存 等 。 


我 们 在 这 里 不 讨论 这 些 硬件 ， 而 要 讨论 在 大 型 网 站 里 面 起 到 缓存 作用 
的 一 些 系统 ， 而 且 我 们 不 是 要 介绍 具体 的 系统 ， 而 是 介绍 缓存 的 一 些 
用 法 ， 并 看 看 缓存 系统 是 否 可 以 看 做 一 个 读 库 。 


1. 数据 缓存 


在 大 型 网 站 中 ， 有 许多 地 方 都 会 用 到 缓存 机 制 。 首 先 我 们 看 一 下 网 站 
内 部 的 数据 缓存 。 大 型 系统 中 的 数据 缓存 主要 用 于 分 担 数据 库 的 读 的 
压力 ， 从 目的 上 看 ， 类 似 于 我 们 前 面 提 到 的 分 库 和 搜索 引擎 。 


如 图 2-16 所 示 ， 可 以 看 到 缓存 系统 和 搜索 引擎 、 读 库 的 定位 是 很 类 似 
的 ， 缓 存 系统 一 般 是 用 来 保存 和 查询 键 值 (Key-Value) 对 的 。 同 样 
的 ， 业 务 系统 需要 了 解 什 么 数据 会 在 缓存 中 。 缓 存 中 数据 的 填充 方式 
会 有 不 同 ， 一 般 我 们 在 缓存 中 放 的 是 “ 热 ” 数 据 而 不 是 全 部 数据 ， 那 么 
填充 方式 号 古 通 过 应 用 完成 的 ， 即 应 用 访问 绥 存 ， 如 琳 数 据 不 存在 ， 

则 从 数据 库 读 出 数据 后 放 入 缓存 。 随 着 时 间 的 推移 ， 当 缓存 容量 不 够 
需要 清除 数据 时 ， 最 近 不 被 访 问 的 数据 就 被 清除 了 。 这 种 使 用 方式 与 
前 面 分 库 的 数据 复制 以 及 搜索 引擎 的 构建 索引 的 方式 是 不 同 的。 不 过 
还 有 一 种 做 法 与 前 面 两 种 方式 是 类 似 的 ， 那 殉 是 在 数据 库 的 数据 发 生 
变化 后 ， 主 动 把 数据 放 入 缓存 系统 中 。 这 样 的 好 处 (相对 于 前 面 使 用 
缓存 的 方式 ) 是 ， 在 数据 变化 时 能 够 及 时 更 新 缓存 中 数据 ， 不 会 造成 
读 取 失效 。 这 种 方式 一 般 会 用 于 全 数据 绥 存 的 情况 。 使 用 这 种 方式 有 


一 个 要 求 ， 即 根据 数据 库 记 录 的 变化 云 更 新 缓存 的 代码 到 能 够 理解 业 


务 逻 辑 。 


图 2-16 ”加 入 缓存 后 的 结构 


2. 页 面 缓存 


除了 数据 缓存 外 ， 我 们 还 有 页 面 缓存 。 数 据 缓 存 可 以 加 速 应 用 在 啊 应 
请 求 时 的 数据 读 取 速 度 ， 但 是 最 终 应 用 返回 给 用 户 的 主要 还 是 页 面 ， 
有 些 动 态 产 生 的 页 面 或 页 面 的 一 部 分 特别 热 ， 我 们 就 可 以 对 这 些 内 容 
进行 缓存 。ESI 束 是 针对 这 种 情况 的 一 个 规范 。 从 具体 的 实现 上 来 说 ， 
可 以 采用 ESI 或 者 类 似 的 思路 来 做 ， 也 可 以 把 页 面 缓存 与 页 面 渔 染 放 在 
一 起 处 理 ， 下 面 举 个 具体 的 例子 来 说 明 一 下 这 两 种 做 法 的 差别 。 


我 们 的 系统 使 用 Java 技 术 构 建 Web 服 务 ， 而 在 Web 服务 前 端 有 
Apache/Nginx 服 务 器 。 


图 2-17 表 示 对 于 ESI 的 处 理 是 在 Apache 中 进行 。Web 服 务 器 产生 的 请 求 
咱 应 结果 返回 给 Apache，Apache 中 的 模块 会 对 响应 结果 做 处 理 ， 找 到 
ESI 标 签 ， 然 后 去 缓存 中 获取 这 些 ESI 标 签 对 应 的 内 容 ， 如 果 这 些 内 容 
不 存在 〈 可 能 没有 生成 或 者 已 经 过 期 ) ， 那 么 Apache 中 的 模板 会 通过 
Web 服 务 屡 去 演 染 这 些 内 容 ， 并 且 把 结果 放 入 缓存 中 ， 用 内 容 替 换 掉 


ESI 标 和 丛 ， 返 回 给 客户 的 浏览 器 。 这 种 方式 的 职责 分 工 比 较 清楚 。 不 过 
Apache 的 ESI 模 块 总 是 要 对 啊 应 结 采 做 分 析 ， 然后 进行 ESI 相 关 的 操 


作 。 如 琳 在 Web 服 务 右 处 理 时 束 能 够 直接 把 ESI 相 关 的 工作 做 完 会 是 一 
个 更 好 的 选择 。 


图 2-17 ”Apache 中 的 ESI 模 块 


图 2-18 就 是 改进 后 的 样子 。Apache 中 不 再 有 ESI 相 关 的 功能 了 ， 而 是 在 
Web 服 务 天 中 完成 泻 染 及 缓存 相关 的 操作 。 这 样 的 做 法 更 高 效 ， 它 把 
演 染 与 缓存 的 工作 结合 在 了 一 起 ， 而 且 这 种 做 法 只 是 看 起 来 没有 前 一 
种 方式 分 工 清晰 而 已 。 


图 2-18 ”JBoss 中 的 ESI 功 能 


对 于 使 用 缓存 来 加 速 数 据 读 取 的 情况 ， 一 个 很 关键 的 指标 是 缓存 命中 
率 ， 因 为 如 果 缓 存 命 中 率 比 较 低 的 话 ， 束 意味 着 还 有 不 少 的 读 请 求 要 
回 到 数据 库 中 。 此 外 ， 数 据 的 分 布 与 更 新 策略 也 需要 结合 具体 的 场景 
来 考虑 。 从 分 布 上 来 说 ， 我 们 主要 考虑 的 问题 是 需要 有 机 制 去 避免 局 
部 的 热点 ， 并 且 缓 存 服务 器 扩容 或 者 缩 容 要 尽量 平 清 〈 一 致 性 Hash 会 
是 不 错 的 选择 ) 。 而 在 缓存 的 数据 的 更 新 上 ， 会 有 定时 失效 、 数 据 变 
更 时 失效 和 数据 变更 时 更 新 的 不 同 选 择 。 


2.2.6 ”弥补 关系 型 数据 库 的 不 足 ， 引 
入 分 布 式 存储 系统 


在 之 前 的 介绍 中 用 于 数据 存储 的 主要 是 数据 库 ， 但 是 在 有 些 场景 下 ， 
数据 库 并 不 是 很 合适 。 我 们 平时 使 用 的 多 为 单机 数据 库 ， 并 且 据 供 了 
强 的 单机 事务 的 文 持 。 除 了 数据 库 之 外 ， 还 有 其 他 用 于 存储 的 系统 ， 
也 就 是 我 们 常 说 的 分 布 式 存储 系统 。 分 布 式 存储 系统 在 大 型 网 站 中 有 
非常 广泛 的 使 用 。 


常见 的 分 布 式 存储 系统 有 分 布 式 文件 系统 、 分 布 式 Key-Value 系 统 和 分 
布 式 数 据 库 。 文 件 系 统 是 大 家 所 熟知 的 ， 分 布 式 文件 系统 就 古 在 分 布 
式 环境 中 由 多 个 市 点 组 成 的 功能 与 单机 文件 系统 一 样 的 文件 系统 ， 它 
征 弱 格式 的 ， 内 容 的 格式 需要 使 用 者 目 己 来 组 织 ; 而 分 布 式 Key-Value 
系统 相对 分 布 式 文件 系统 会 更 加 格式 化 一 些 ;， 分 布 式 数据 库 则 是 最 格 
。 具 体 到 分 布 式 存储 的 实现 ， 我 们 将 在 后 续 的 章节 探 
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分 布 式 存储 系统 目 身 起 到 了 存储 的 作用 ， 也 吏 是 提供 数据 的 读 写 文 
持 。 相 对 于 读 写 分 离 中 的 读 “ 源 "， 分 布 式 存储 系统 更 多 的 是 直接 代替 
了 主 库 。 是 否 引 入 分 布 式 系 统 则 需要 根据 具体 场景 来 选择 。 分 布 式 存 
储 系统 通过 集群 提供 了 一 个 高 容量 、 高 并 发 访问 、 数 据 元 余 容 灾 的 文 
持 。 具 体 到 前 文 提 到 的 三 个 常见 类 ， 则 十 通过 分 布 式 文件 系统 来 解决 
小 文件 和 大 文件 的 存储 问题 ， 通 过 分 布 式 Key-Value 系 统 提供 高 性 能 的 
半 结 构 化 的 文 择 ， 通 过 分 布 式 数据 库 提 供 一 个 文 持 大 数据 、 高 并 发 的 
数据 库 系统 。 分 布 式 存 储 系统 可 以 帮助 我 们 较 好 地 解决 大 型 网 站 中 的 
大 数据 量 和 高 并 发 访问 的 问题 。 引 入 分 布 式 存储 系统 后 ， 我 们 的 系统 
大 概 会 是 图 2-19 的 样子 。 


图 2-19 引入 分 布 式 存储 系统 的 结构 


.2.7” 读 写 分 离 后 ， 数 据 库 又 遇 到 瓶 


对 站 


» 


型 


过 读 写 分 离 以 及 在 某 些 场景 用 分 布 式 存储 系统 替换 关系 型 数据 库 的 
式 ， 能 够 降低 主 库 的 压力 ， 解 决 数 据 存 储 方面 的 问题 。 不 过 随 着 业 
的 发 展 ， 我 们 的 主 库 也 会 遇 到 瓶颈 。 我 们 的 网 站 演进 到 现在 ， 区 
` 商品 、 用 户 的 数据 还 都 在 一 个 数据 库 中 。 尽 管 采 取 了 增加 缓存 、 
读 写 分 离 的 方式 ， 这 个 数据 库 的 压力 还 是 在 继续 增加 ， 因 此 我 们 需要 
去 解决 这 个 问题 ， 我 们 有 数据 垂直 拆 分 和 水 平 拆 分 两 种 选择 。 


2.2.7.1 ” 专 库 专用 ， 数 据 垂直 拆 分 


垂直 拆 分 的 意 轧 是 把 数据 库 中 不 同 的 业务 数据 拆 分 到 不 同 的 数据 库 
TI 忠 古 把 交易 、 商 品 、 用 户 的 数据 分 开 ， 如 图 2- 
20BT 不 。 


江 汶 半生 
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图 2-20 ”数据 库 垂 直 拆 分 后 的 结构 


这 样 的 变化 给 我 们 市 来 的 影响 是 什么 呢 ? 应 用 需要 配置 多 个 数据 源 ， 
这 束 增 加 了 所 需 的 配置 ， 不 过 带 来 的 是 每 个 数据 库 连接 池 的 隔离 。 不 
同业 务 的 数据 从 原来 的 一 个 数据 库 中 拆 分 到 了 多 个 数据 库 中 ， 那 么 就 
需要 考虑 如 何 处 理 原 来 单机 中 路 业务 的 事务 。 一 种 办 法 是 使 用 分 布 式 
事务 ， 其 性 能 要 明显 低 于 之 前 的 单机 事务 ， 而 叉 一 种 办 法 就 是 去 掉 事 
务 或 者 不 去 追求 强 事务 文 持 ， 则 原来 在 单 库 中 可 以 使 用 的 表 关 联 的 碍 
询 也 就 需要 改变 实现 了 。 


对 数据 进行 垂直 拆 分 之 后 ， 解 决 了 把 所 有 业务 数据 放 在 一 个 数据 库 中 
的 压力 问题 。 并 且 也 可 以 根据 不 同业 务 的 特点 进行 更 多 优化 。 


垂直 拆 分 后 的 单机 遇 到 瓶 贷 ， 数 据 水 平 


与 数据 垂直 拆 分 对 应 的 还 有 数据 水 平 折 分 。 数 据 水 平 拆 分 束 是 把 同一 
个 表 的 数据 拆 到 两 个 数据 库 中 。 产 生 数 据 水 平 拆 分 的 原因 是 某 个 业务 
的 数据 表 的 数据 量 或 者 更 新 量 达到 了 单个 数据 库 的 瓶颈 ， 这 时 束 可 以 
把 这 个 表 拆 到 两 个 或 者 多 个 数据 库 中 。 数 据 水 平 拆 分 与 读 写 分 离 的 区 
别 是 ， 读 写 分 离 解决 的 是 读 压力 大 的 问题 ， 对 于 数据 量 大 或 者 更 新 量 
的 情况 并 不 起 作用 。 数 据 水 平 拆 分 与 数据 垂直 拆 分 的 区 别 是 ， 垂 直 拆 
分 是 把 不 同 的 表 拆 到 不 同 的 数据 库 中 ， 而 水 平 拆 分 是 把 同一 个 表 拆 到 
不 同 的 数据 库 中 。 例 如 ， 经 过 垂直 拆 分 后 ， 用 户 表 与 交易 表 、 商 品 
不 在 一 个 数据 库 中 了 ， 如 采 数 据 量 或 者 更 新 量 太 大 ， 我 们 可 以 进一步 
把 用 户 表 拆 分 到 两 个 数据 库 中 ， 它 们 拥有 结构 一 模 一 样 的 用 户 表 ， 而 
且 每 个 库 中 的 用 户 表 都 只 渔 吉 了 一 部 分 的 用 户 ， 两 个 数据 库 的 用 户 合 
在 一 起 就 相当 于 没有 拆 分 之 前 的 用 户 表 。 我 们 先 来 简单 看 一 下 引入 数 
据 水 平 拆 分 后 的 结构 ， 如 图 2-21 所 示 。 
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图 2-21 数据 水 平 拆 分 后 的 结构 
我 们 来 分 析 一 下 水 平 拆 分 后 给 业务 应 用 带 来 的 影响 。 


首先 ， 访 问 用户 信 息 的 应 用 系统 需要 解决 SQL 路 由 的 问题 ， 因 为 现在 
用 户 信息 分 在 了 两 个 数据 库 中 ， 需 要 在 进行 数据 库 操作 时 了 解 需要 操 
作 的 数据 在 哪里 。 


此 外 ， 主 键 的 处 理 也 会 变 得 不 同 。 原 来 依赖 单个 数据 库 的 一 些 机 制 需 
要 变化 ， 例 如 原来 使 用 Oracle 的 Sequence 或 者 MySQL 表 上 的 目 增 字段 
的 ， 现 在 不 能 人 简单 地 继续 使 用 了 。 并 且 在 不 同 的 数据 库 中 也 不 能 直接 
使 用 一 些 数据 库 的 限制 来 保证 主键 不 重复 了 。 


最 后 ， 由 于 同一 个 业务 的 数据 被 拆 分 到 了 不 同 的 数据 库 中 ， 因 此 一 些 
查询 需要 从 两 个 数据 库 中 取 数 据 ， 如 采 数 据 量 太 大 而 需要 分 页 ， 束 会 
比较 难处 理 了 。 


不 过 ， 一 旦 我 们 能 够 完成 数据 的 水 平 拆 分 ， 我 们 将 能 够 很 好 地 应 对 数 
据 量 及 写 入 量 增长 的 情况 。 具 体 如 何 完成 数据 水 平 拆 分 ， 在 后 面 分 布 
式 数 据 访 问 层 的 划 节 中 我 们 将 进行 更 加 详细 的 介绍 。 


2.2.8 ”数据 库 问题 解决 后 ， 应 用 面 对 
的 新 挑战 


2.2.8.1 ” 拆 分 应 用 


前 面 所 讲 的 读 写 分 离 、 分 布 式 存储 、 数 据 垩 直 拆 分 和 数据 水 平 拆 分 都 
征 在 解决 数据 方面 的 问题 。 下 面 我 们 来 看 看 应 用 方面 的 变化 。 


之 前 解决 了 应 用 服务 占 从 单机 到 多 机 的 扩展 ， 应 用 就 可 以 在 一 定 范 围 
内 水 平 扩 展 了 。 随 着 业务 的 发 展 ， 应 用 的 功能 会 越 来 越 多 ， 应 用 也 会 
越 来 越 大 。 我 们 需要 考虑 如 何不 让 应 用 持续 变 大 ， 这 就 需要 把 应 用 拆 
开 ， 从 一 个 应 用 变 为 两 个 甚至 多 个 应 用 。 我 们 来 看 两 种 方式 。 


第 一 种 方式 ， 根 据 业 务 的 特性 把 应 用 拆 开 。 在 我 们 的 例子 中 ， 主 要 的 
业务 功能 分 为 三 大 部 分 ， 交 易 、 商 品 和 用 户 。 我 们 可 以 把 原来 的 一 个 
应 用 拆 成 分 别 以 交易 和 商品 为 主 的 两 个 应 用 ， 对 于 交易 和 商品 都 会 

涉及 用 户 的 地 方 ， 我 们 让 这 两 个 系统 自己 完成 涉及 用 户 的 工作 ， 而 类 
似 用 户 注册 、 有 登录 等 基础 的 用 户 工 作 ， 可 以 暂时 区 给 两 系统 之 一 来 完 
成 注意， 我 们 在 这 里 主要 是 通过 例子 说 明 拆 分 的 做 法 ，， 如 图 2-22 
所 示 ， 这 样 的 拆 分 可 以 使 大 的 应 用 变 小 。 


图 2-22 ”根据 功能 拆 分 应 用 


我 们 还 可 以 按照 用 户 注 册 、 用 户 登 水、 用 户 信息 维护 等 再 拆 分 ， 使 之 

变 成 三 个 系统 。 不 过 ， 这 样 拆 分 后 在 不 同系 统 中 会 有 一 些 相似 的 代 

码 ， 例 如 用 户 相关 的 代码 。 如 何 能 够 保证 这 部 分 代码 的 一 致 以 及 如 何 

对 其 复 用 是 需要 解决 的 问题 。 此 外 ， 按 这 样 的 方式 拆 分 出 来 的 新 系统 

和 ° 而 且 ， 新 拆 出 来 的 应 用 可 能 会 连接 同 
可 委 车 o 


来 看 一 个 具体 的 例子 ， 如 图 2-23 所 示 。 


图 2-23 ” 按 功 能 拆 分 后 的 结构 
我 们 根据 业务 的 不 同 功能 拆 分 了 几 个 业务 应 用 ， 而 且 这 些 业 务 应 用 之 


间 不 存在 直接 的 调用 ， 它 们 都 依赖 底层 的 数据 库 、 缓 存 、 文 件 系 统 、 
。 这 样 的 应 用 拆 分 确实 能 够 解决 当下 的 一 些 问题 ， 不 过 也 有 一 


2.2.8.2” 走 服务 化 的 路 


我 们 再 来 看 一 下 服务 化 的 做 法 。 图 2-24 是 一 个 示意 图 。 从 中 可 以 看 到 
我 们 把 应 用 分 为 了 三 层 ， 处 于 最 上 端的 是 Web 系 统 ， 用 于 完成 不 同 的 
业务 功能 ， 处 于 中 间 的 是 一 些 服务 中 心 ， 不 同 的 服务 中 心 提供 不 同 的 
业务 服务 ， 处 于 下 层 的 则 是 业务 的 数据 库 。 当 然 ， 我 们 在 这 个 图 中 省 
去 了 缓存 等 基础 的 系统 ， 因 此 可 以 说 是 服务 化 系统 结构 的 一 个 简 图 。 


图 2-24 ”服务 化 结构 


图 2-24 与 之 前 的 图 相 比 有 几 个 很 重要 的 变化 。 前 先 ， 业 务 功能 之 间 的 
访问 不 仅 是 单机 内 部 的 方法 调用 了 ， 还 引入 了 远程 的 服务 调用 。 其 
次 ， 共 训 的 代码 不 再 是 散落 在 不 同 的 应 用 中 了 ， 这 些 实现 被 放 在 了 各 
个 服务 中 心 。 第 三 ， 数 据 库 的 连接 也 发 生 了 一 些 变化 ， 我 们 把 与 数据 
库 的 交互 工作 放 到 了 服务 中 心 ， 让 前 端的 Web 应 用 更 加 注重 与 浏览 器 
交互 的 工作 ， 而 不 必 过 多 关注 业务 逻辑 的 事情 。 连 接 数 据 库 的 任务 交 
给 相应 的 业务 服务 中 心 了 ， 这 样 可 以 降低 数据 库 的 连接 数 。 而 服务 中 
心 不 仅 把 一 些 可 以 共用 的 之 前 散落 在 各 个 业务 的 代码 集中 了 起 来 ， 并 
且 能 够 使 这 些 代 码 得 到 更 好 的 维护 。 第 四 ， 通 过 服务 化 ， 无 论 是 前 端 
Web 应 用 还 是 服务 中 心 ， 都 可 以 是 由 固定 小 团队 来 维护 的 系统 ， 这 样 
能 够 更 好 地 保持 稳定 性 ， 并 能 更 好 地 控制 系统 本 身 的 发 展 ， 况 且 稳 定 
的 服务 中 心 日 第 发 布 的 次 数 也 远 小 于 前 端 Web 应 用 ， 因 此 这 个 方式 也 
减 小 了 不 稳定 的 风险 。 


要 做 到 服务 化 还 需要 一 些 基础 组 件 的 支撑 ， 在 后 面 服务 框架 的 章 市 我 


们 会 具体 介绍 。 


2.2.9” 初 识 消 忆 中间 件 


最 后 我 们 来 看 一 下 消息 中 间 件 。 维 基 百 科 上 对 消息 中 间 件 的 定义 
为 “Message-oriented middleware (MOM) is software infrastructure 
focused on sending and receiving messages between distributed 
systems.” 意 思 就 是 面向 消息 的 系统 (消息 中 间 件 ) 是 在 分 布 式 系 统 中 
ee 妃 的 发 送 和 接收 的 基础 软件 。 图 2-25 更 直观 地 表示 了 消息 中 间 
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消息 中 间 件 


图 2-25 ”消息 中 间 件 


消 恩 中 间 件 有 两 个 常 被 提 及 的 好 处 ， 即 异步 和 解 厦 。 从 图 2-25 中 可 以 
看 到 ， 应 用 A 和 应 用 B 都 和 消 轧 中 间 件 打交道 ， 而 这 两 个 应 用 之 间 并 不 
直接 联系 。 这 样 殴 完成 了 解 耕 ， 目 的 是 布 望 收发 消 轧 的 双方 彼此 不 知 
道 对 方 的 存在 ， 也 不 受 对 方 影 响 ， 所 以 将 消 轧 投递 给 接收 者 实际 上 都 
式 。 在 后 面 消息 中 间 件 的 章节 (第 6 章 ) 中 会 展开 来 讲 


2.2.10 “总结 


至 此 ， 我 们 通过 一 个 例子 来 讲解 了 交易 网 站 的 架构 演进 。 这 里 我 必须 
要 再 强调 一 下 ， 这 只 是 一 个 例 了 于， 不 是 某 个 网 站 真实 的 演进 过 程 ， 实 
际 的 网 站 演进 过 程 与 目 身 的 业务 和 不 同时 间 遇 到 的 问题 有 密切 关系 ， 
没有 固定 的 模式 。 我 们 是 硕 望 通过 这 个 例子 癌 大 家 讲述 可 能 遇 到 的 问 
题 类 型 和 基本 的 解决 思路 。 这 些 思 路 在 具体 的 实现 过 程 中 都 有 更 多 的 
工作 和 选择 要 做 。 后 面 关 于 Java 中 间 件 的 实践 部 分 〈 第 3 章 ) 会 继续 讲 
解 一 些 更 细节 的 内 容 。 


最 后 ， 我 们 通过 一 张 图 来 看 看 经 过 演进 之 后 ， 我 们 的 网 站 变 成 什么 样 
子 了 ， 如 图 2-26 所 示 。 


下 
Service Service 
图 2-26 ”整体 结构 图 


这 比 起 最 初 的 图 2-4 已 经 丰满 了 很 多 。 在 后 面 介绍 Java 中 间 件 实践 时 ， 
我 们 可 以 看 到 Java 中 间 件 在 这 个 图 上 的 位 置 。 而 在 介绍 完 Java 中 间 件 
实践 以 及 构建 大 型 网 站 的 其 他 要 素 后 ， 将 会 给 出 一 张 更 完整 的 图 。 


第 3 章 ”构建 Java 中 间 件 
3.1 Java 中 间 件 的 定义 


上 一 章 我 们 看 到 了 一 个 用 Java 技 术 构 建 的 网 站 从 小 到 大 的 演进 过 程 ， 

在 这 个 过 程 中 ， 无 论 服 务 化 、 对 数据 库 的 读 写 分 离 和 拆 分 处 理 还 是 消 
思 系 统 ， 都 会 用 到 相关 的 中 间 件 。 这 一 章 我 们 会 了 解构 建 Java 中 间 件 
的 一 些 基 础 知识 ， 以 及 我 们 到底 需要 在 大 型 网 站 中 构建 什么 中 间 件 产 


口 
HO?° 


从 字面 上 看 Java 中 间 件 的 定义 很 简单 ， 那 束 是 基于 Java 技 术 构 建 的 中 
间 件 。 我 们 移 抛 开 Java， 看 一 下 什么 是 中 间 件 。 中 间 件 的 定义 说 简单 
很 测 单 ， 说 复杂 也 很 复杂 。 在 维基 百科 上 有 是 这 样 定义 中 间 件 的 : In its 
most general sense ， middleware is computer software that provides 
services to software applications beyond those available from the operating 
System. Middleware can be described as“software glue”. Thus middleware 
is not obviously part of an operating system, not a database management 
System , and neither is it part of one software application. Middleware 
makes it easier for software developers to perform communication and 


input/output ， so they can focus on thespecific Purpose of their 
application ， 这 段 文字 有 些 长 ， 大 意 是 中 间 件 为 软件 应 用 提供 了 操作 系 
统 所 提供 的 服务 之 外 的 服务 ， 可 以 把 中 间 件 描述 为 “软件 胶水 ”。 中 间 
件 不 是 操作 系统 的 一 部 分 ， 不 是 数据 库 管 理 系 统 ， 也 不 是 软件 应 用 的 
一 部 分 ， 而 是 能 够 让 软件 开发 者 方便 地 处 理 通信 、 输 入 和 输出 ， 能 够 
专注 在 他 们 目 己 应 用 的 部 分 。 


这 样 接 述 有 些 见 长 ， 我 理解 的 中 间 件 有 些 “ 不 上 不 下 ”， 中 间 件 不 是 最 
上 层 的 应 用 ， 也 不 是 最 底层 的 文 撑 系统 ， 是 处 于 “中 间 ” 位 置 的 组 件 。 
中 间 件 起 到 的 是 桥梁 作用 ， 是 应 用 与 应 用 之 间 的 桥梁 ， 也 是 应 用 与 服 
务 之 间 的 桥梁 。 特 定 中 间 件 是 解决 特定 场景 问题 的 组 件 ， 它 能 够 让 软 
件 开发 人 员 专 注 于 目 己 应 用 的 开发 。 


根据 这 样 的 定义 去 确定 中 间 件 的 范围 和 种 类 还 是 比较 困难 的 。 在 业界 
也 没有 达成 共识 的 权威 分 类 。 本 书 在 接 下 来 的 章节 主要 介绍 的 是 下 面 
三 个 领域 的 中 间 件 。 


。 远程 过 程 调用 和 对 和 象 访问 中 间 件 ， 主要 解决 分 布 式 环境 下 应 用 的 

互相 访问 问题 。 这 也 十 文 撑 我 们 介绍 应 用 服务 化 的 基础 。 

。 消 轧 中 间 件 : 解决 应 用 之 间 的 消 轧 传递 、 解 耦 、 有 异步 的 问题 。 

。 数据 访问 中 间 件 : 主要 解决 应 用 访问 数据 库 的 共性 问题 的 组 件 。 
这 三 个 部 分 没有 沐 盖 所 有 的 中 间 件 ， 不 过 我 们 也 不 准备 把 每 个 部 分 所 
有 相关 的 内 容 都 介绍 清楚 ， 而 更 多 的 是 把 与 大 型 网 站 的 具体 问题 相关 
的 部 分 介绍 清楚 。 之 所 以 要 介绍 这 三 个 部 分 的 内 容 ， 就 是 因为 它们 与 
大 型 网 站 的 发 展演 进 有 非常 密切 的 关系 。 


3.2 ”构建 Java 中 间 件 的 基础 知识 


Java 中 间 件 是 解决 特定 问题 域 的 一 系列 组 件 。 我 们 接 下 来 看 一 下 和 
Java 中 间 件 关系 比较 密切 的 一 些 基 础 知识 ， 这 会 帮助 我 们 更 好 地 理解 
Java 中 间 件 的 构建 。 


3.2.1 “路 平 台 的 Java 运 行 环 境 
JVM 


首先 要 谈 到 的 是 JVM， 这 是 Java 中 间 件 运行 的 基础 平台 。 这 里 的 JVM 
各 可 县 体 要 使用 的 Java 虑 所 机 ， 而 不 是 县 体 的 规范 或 者 车 运行 的 记 
机 实例 。 


要 完成 中 间 件 功能 可 能 不 需要 过 多 地 去 了 解 JVM。 我 们 了 解 JVM 的 主 
要 目的 是 为 了 让 我 们 的 应 用 更 加 高 效 地 工作 ， 男 外 也 是 为 了 在 遇 到 问 
题 的 时 候 能 更 加 快速 地 定位 和 解决 问题 。 


具体 的 Java 虚 拟 机 产品 有 多 种 ， 但 都 遵循 同样 的 规范 ， 有 具体 规范 请 参 
考 网 址 -http://docs.oracle.com/javase/specs/jvms/se7/html/index.html。 大 
家 比较 熟知 的 Java 虚 拟 机 产品 应 该 是 Oracle Hotspot 、IBM J9、Oracle 
JRockit 和 Microsoft JYM， 其 中 Hotspot 是 Sun 的 产品 ，JRockit 是 BEA 的 
产品 ， 由 于 这 两 家 公司 都 被 Oracle 收 购 了 ， 所 以 现在 它们 成 为 了 Oradle 
的 产品 。 此 外 ， 还 有 两 个 针对 特定 硬件 平台 的 虚拟 机 一 一 Azul VM 和 
BEA Liquid VM 。Azul Systems (Azul VM 所 属 的 公司 ) 还 推出 了 Zing 
VM， 它 是 针对 x86 平 台 的 ， 提 供 的 性 能 接近 Azul VM 在 专 有 的 硬件 
Vega 系 统 上 的 表现 。 在 平时 的 应 用 中 ，Hotspot 应 该 是 使 用 最 广泛 的 一 
个 虚拟 机 产品 。 


Java 诞 生 时 的 口号 就 是 “write once，run anywhere”， 而 达到 这 个 目标 的 
天 键 点 吏 是 Java 虚 拟 机 。 不 同 平台 有 不 同 的 Java 虚 拟 机 ， 但 是 不 同 Java 
虚拟 机 所 识别 的 是 统一 格式 的 中 间 代 码 ， 也 就 是 我 们 常 说 的 Java Byte 
Code (Java 字 节 码 ) ， 如 图 3-1 所 示 。 


Source 
Code 


图 3-1 Java 从 源码 到 运行 的 过 程 


| 以 看 到 从 源码 到 Java 字 节 码 再 到 具体 不 同 平 台 JVM 执 行 的 过 


JVM 是 Java Byte Code 的 一 个 运行 环境 ，JVM 的 调 优 及 运行 时 问题 的 定 
位 处 理 也 是 非常 重要 的 内 容 。 本 书 不 对 这 两 部 分 展开 介绍 ， 建 议 读者 


参考 相关 的 书籍 或 者 资料 进行 了 解 。 这 里 只 提醒 一 句 ， 没 有 一 个 万 能 
的 调 优 和 问题 定位 处 理 方式 ， 我 们 只 能 了 解 一 些 基本 的 原理 和 方式 ， 
然后 根据 每 个 系统 的 不 同 特点 来 进行 不 同 的 处 理 。 


3.2.2 ”垃圾 回收 与 内 存 堆 布局 


使 用 Java 虚 拟 机 不 得 不 说 的 就 是 垃圾 回收 。Java 虚 拟 机 十 通 过 垃圾 回 
收 的 方式 来 进行 内 存 回收 的 ， 而 不 十 类 似 C/C++ 等 语言 那样 通过 代码 
显 式 地 释放 。 在 C/C++ 中 ， 在 使 用 指针 时 需要 非常 天 注 内 存 相 关 的 问 
题 ， 一 方面 防止 内 存 泄露 ， 男 外 一 方面 防止 使 用 已 经 释放 的 内 存 。 而 
在 Java 虚 拟 机 中 ， 采 用 垃圾 回收 的 方式 使 得 我 们 可 以 主动 释放 内 存 ， 
但 是 需要 我 们 特别 关注 和 了 解 垃 圾 回收 。 设 置 不 同 的 垃圾 回收 方式 及 
参数 都 会 影响 垃圾 回收 的 效果 ， 而 这 对 网 站 产生 的 影响 吏 在 于 系统 的 
稳定 性 及 单机 的 文 撑 能 力 方面 ， 这 也 是 我 们 需要 特别 关注 的 部 分 。 


在 Java 虚 拟 机 规范 和 Java 语 言 规范 中 ， 并 没有 显 式 地 提 及 垃圾 回收 的 
内 容 。 不 过 ， 在 JVM 的 指令 集中 ， 并 没有 提供 类 似 free/delete 这 样 的 释 
放 操 作 ， 所 以 我 们 不 能 显 式 地 直接 释放 内 存 ， 而 需要 专门 的 垃圾 收集 
妖 来 完成 垃圾 回收 的 工作 。 


在 不 同 的 Java 虚 拟 机 产品 中 ， 内 存 中 堆 的 布局 十 不 完全 一 样 的 ， 采 用 
的 垃圾 回收 策略 也 不 同 。 下 面 我 们 简单 看 一 下 三 个 常见 的 Java 虚 拟 机 
产品 中 内 存 的 堆 布 局 。 首 先 来 看 Oracle Hotspot JVM 中 内 存 的 堆 布 局 ， 
如 图 3-2 所 示 。 
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图 3-2” ”Oracle Hotspot JVM 内 存 堆 布局 


Oracle Hotspot JVM 中 内 存 的 堆 布 局 是 大 家 平时 接触 比较 多 的 。 从 图 3- 
2 可 以 看 到 ， 有 Young/Tenured/Perm 三 块 区 域 ， 也 就 是 我 们 常 说 的 新 生 
代 / 年 老 代 /持久 代 。 


一 般 来 说 ， 新 的 对 象 会 被 分 配 在 新 生 代 (Young) 的 Eden 区 ， 也 有 可 
能 会 被 直接 分 配 在 年 老 代 (Tenured) 。 在 进行 新 生 代 垃 圾 回收 的 时 


候 ，Eden 区 中 存活 的 对 象 会 被 复制 到 空 的 Survivor 区 ， 而 下 次 新 生 代 
垃圾 回收 的 时 候 ，Eden 区 存活 的 对 象 和 这 个 Survivor 区 中 存活 的 对 象 
会 被 复制 到 另外 那个 Survivor 区 ， 并 且 清 空当 前 的 Survivor 区 。 经 过 多 
次 新 生 代 垃圾 回收 ， 还 存活 的 对 象 会 被 移动 到 年 老 代 。 而 年 老 代 的 空 
间 也 会 根据 一 定 的 条 件 进 行 世 圾 回收 。 


在 Hotspot 中 ， 针 对 新 生 代 提供 了 下 面 的 GC 方 式 : 


串 行 GC - Serial Copying 
并 行 GC - ParNew 


并 行 回收 6C - Parallel Scavenge 


针对 年 老 代 ， 有 下 面 的 GC 方式 : 


串 行 GC - Serial MSC 

并 行 MS GC - Parallel MSC 

并 行 Compacting GC - Parallel Compacting 

并 发 GC - CMS 
在 Sun 的 Java 6 update 14 中 ， 引 入 了 Garbage First (G1) 回收 回 ，G1 的 
目标 是 取代 CMS 。 
下 面 我 们 看 一 下 JRockit 中 内 存 堆 布 局 的 情况 ， 如 图 3-3 所 示 。 
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图 3-3 ”JRockit 内 存 堆 布 局 


图 3-3 所 示 的 是 及 ockit 中 分 代 的 一 种 内 存 堆 使 用 方式 ，Nursery 残 相当 
于 Hotspot 中 的 Young， 其 中 的 Keep Area 区 域 可 以 使 自己 区 域 中 的 对 象 
跳 过 下 一 次 的 Young GC， 也 残 是 使 得 Keep Area 区 域 的 对 象 创建 后 ， 
第 二 次 Young GC 时 才 会 被 GC。JRockit 还 有 一 种 内 存 堆 使 用 方式 ， 那 
就 是 不 对 整个 堆 进 行 分 代 ， 直 接 作 为 一 个 完整 连续 的 堆 使 用 。 


最 后 我 们 来 看 一 下 IBM JVM 中 内 存 堆 布 局 的 情况 ， 如 图 3-4 所 示 。 
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图 3-4 IBM JVM 内 存 堆 布局 


IBM JVM 的 分 代 名 称 与 及 ockit 是 一 样 的 ， 在 Nursery 中 的 Allocate 和 
Survivor 与 Hotspot 中 的 Eden 和 Survivor 类 似 ， 只 是 IBM JVM 中 的 
Survivor 只 有 一 个 。 不 过 新 生 代 垃圾 回收 的 时 候 ， 也 是 从 Nursery 的 一 
个 区 复制 到 另外 一 个 区 的 。 


对 我 们 来 说 使 用 较 多 的 还 是 Oracle Hotspot JVM。 建 议 读者 多 花 时 间 去 
了 人 解 针对 Hotspot 的 垃圾 回收 集 略 、 设 置 和 调 优 。 


a Java 并 发 编程 的 类 、 接 口 和 方 


3.2.3.1 ”线程 池 


现在 是 多 核 的 时 代 ， 面 问 多 核 编程 非常 重要 ， 因 此 基于 Java 的 并 发 和 
多 线程 开发 非常 重要 。 


首先 要 所 到 的 喊 是 线程 池 。 与 每 次 需要 时 都 创建 线程 相 比 ， 线 程 池 可 
以 降低 创建 线程 的 开销 ， 这 也 十 因 为 线程 池 在 线程 执行 结束 后 进行 的 
是 回 收 操作 ， 而 不 是 真正 销 慑 线程 。 我 们 可 以 看 一 下 使 用 线程 池 和 不 
使 用 线程 池 的 区 别 。 


我 们 在 线程 中 完成 一 个 很 商 单 的 工作 ， 即 产生 一 个 随机 整数 ， 并 且 把 
这 个 随机 整数 加 入 到 一 个 队列 中 。 先 来 看 使 用 线程 池 的 代码 : 


long startTime=System.currentTimeMillis(); 
final List<Integer>l=new LinkedList<Integer>(); 


ThreadPoolExecutor tp=new ThreadPoolExecutor(1, 1, 60, Time 
Unit. SECONDS, new LinkedBlockingQueue<RunnabJle>(count ) ) ; 


final Random random=new Random( ) ; 
for(int i=0;i<count;i++)t{ 
tp.execute(new RunnabJe(){ 
Q@Override 
public void run(){ 


l1.add(random.nextInt()); 


}); 
} 


tp.shutdown( ); 


tryt{ 
tp.awaitTermination(1, TimeUnit.DAYS); 
} 
catch (InterruptedException e){ 
e.printStackTrace( ); 


System.out.println(System.currentTimeMillis()-startTime); 


System,.out.println(1.size()); 


接着 看 一 下 不 用 线程 池 而 直接 使 用 线程 的 代码 : 


long startTime=System.currentTimeMillis(); 
final List<Integer>l=new LinkedList<Integer>(); 
final Random random=new Random( ); 
for(int i=0;i<count;i++)t{ 
Thread thread=new Thread(){ 
@Override 
public void run(){ 


l1.add(random.nextInt()); 


}; 
thread.start( ); 
tryt{ 
thread.join(); 
} 
catch (InterruptedException e){ 


e.printStackTrace( ) ; 


} 


System.out.println(System.currentTimeMillis()-startTime); 


System,.out.println(1.size()); 


上 面 两 种 方式 的 差异 在 于 ， 使 用 线程 池 的 方式 是 复 用 线程 的 ， 而 不 使 
用 线程 池 的 方式 是 每 次 都 要 创建 线程 的 。 在 同样 执行 200000 次 的 情况 
下 ， 使 用 线程 池 的 场景 一 共 消 耗 了 120 室 秒 ， 而 没有 使 用 线程 池 的 场景 
则 总 共 消 耗 了 18852 暑 秒 。 当 然 ， 线 程 中 执行 的 工作 很 位 单 ， 所 以 创建 
线程 的 开销 占 整 个 时 间 的 比例 较 大 。 


在 Java 中 ， 我 们 主要 使 用 的 线程 池 就 是 ThreadPoolExecutor， 此 外 还 有 
定时 的 线程 池 ScheduledThreadPoolExecutor。 需 要 注意 的 是 对 于 
Executors.newCachedThreadPool(0) 方 法 返回 的 线程 池 的 使 用 ， 该 方法 返 
回 的 线程 池 是 没有 线程 上 限 的 ， 在 使 用 时 一 定 要 当心 ， 因 为 没有 办 法 
控制 总 体 的 线程 数量 ， 而 每 个 线程 都 是 消耗 内 存 的 ， 这 可 能 会 导致 过 
多 的 内 存 被 占用 。 建 议 尽量 不 要 用 这 个 方法 返回 的 线程 池 ， 而 要 使 用 
有 固定 线程 上 限 的 线程 池 。 


3.2.3.2 synchronized 


synchronized 关 键 字 可 以 用 于 声明 方法 ， 也 可 以 用 于 声明 代码 块 ， 我 们 
分 别 看 一 下 具体 的 场景 。 


第 一 个 例子 的 代码 如 下 ， 其 中 foo1 和 foo2 是 SynchronizedDemol 类 的 两 
个 静态 方法 。 在 不 同 的 线程 中 ， 这 两 个 方法 的 调用 是 互 斥 的 ， 不 仅 是 
它们 之 间 ， 任 何 两 个 不 同 线程 的 调用 也 互 不 。 


public class SynchronizedDemo1{ 
public synchronized static void fool1()t{ 
} 
public synchronized static void foo02(){} 
} 

} 


第 二 个 例子 代码 如 下 ，foo3 和 foo4 是 SynchronizedDemo2 的 两 个 成 员 方 
法 ， 在 多 线程 环境 中 ， 调 用 同一 个 对 象 的 foo3 或 者 foo4 是 互 扩 的。 与 


nn 


public class SynchronizedDemo2{ 
public synchronized void foo3()t{ 
} 
public synchronized void foo4()t{ 


} 


第 三 个 例子 是 用 synchronized 来 修饰 代码 块 ， 代 码 如 下 ， 这 里 需要 注意 
0 
可 次 o 


public class SynchronizedDemo3{ 
public void foo5(){ 
synchronized ( this ){ 
} 
} 
public void foo6(){ 


synchronized (SynchronizedDemo3. class ){ 


2. 


在 这 个 例子 中 synchronized (this) 与 SynchronizedDemo3 中 加 
synchronized 的 成 员 方 法 是 互 不 的 ， 而 synchronized 

(SynchronizedDemo3.class) 与 SynchronizedDemo3 中 加 synchronized 的 
静态 方法 是 互 不 的 。synchronized 用 于 修饰 代码 块 会 更 加 灵活 ， 因 为 除 
了 前 面 的 这 个 例子 外 ，synchronized 后 的 参数 可 以 是 任意 对 象 。 


3.2.3.3 ReentrantLock 


ReentrantLock 是 java.util.concurrent.locks 中 的 一 个 类 ， 是 从 JDK 5 开始 
加 入 的 。ReentrantLock 的 用 法 类 似 于 修饰 代码 段 的 synchronized， 不 过 
需要 显 式 地 进行 unlock， 这 是 容易 出 错 的 地 方 ， 假 如 代码 出 现 异 常 而 
导致 没有 unlock， 那 束 会 出 问题 7 了。 这 么 看 来 似乎 用 synchronized 更 安 
全 。 那 为 什么 还 会 在 JDK5 增 加 这 么 一 个 类 呢 ? 原因 有 两 个 : 


。 ReentrantLock 提 供 了 tryLock 方 法 ，tryLock 调 用 的 时 候 ， 如 果 锁 被 
其 他 线程 持 有 ， 那 么 tryLock 会 立即 返回 ， 返 回 结果 为 false; 如 果 
锁 没 有 被 其 他 线程 持 有 ， 那 么 当前 调用 线程 会 持 有 锁 ， 并 且 
tryLock 返 回 的 结 来 是 true 。 

构造 ReentrantLock 对 象 的 时 候 ， 有 一 个 构造 函数 可 以 接收 一 个 
boolean 类 型 的 参数 ， 那 就 是 描述 锁 公 平 与 否 的 男 数 。 公 平 锁 的 好 
处 是 等 竺 锁 的 线程 不 会 俄 死 ， 但 是 整体 效率 相对 低 一 些 ; 非 公 平 
锁 的 好 处 是 整体 效率 相对 高 一 些 ， 但 是 有 些 线程 可 能 会 狐 死 或 者 
说 很 早 天 在 等 待 锁 ， 但 要 等 很 久 才 会 得 到 锁 。 其 中 的 原因 是 公平 
锁 是 严格 按照 请 求 锁 的 顺序 来 排队 获取 锁 的 ， 而 非 公 平 锁 是 可 以 
抢占 的 ， 即 如 果 在 某 个 时 刻 有 线程 需要 获取 锁 ， 而 这 个 时 候 刚 好 
锁 可 用 ， 那 么 这 个 线程 加 会 直接 抢占 ， 而 这 时 阻塞 在 等 竺 队列 的 
终 程 则 不 会 被 唤醒 。 

此 外 ，ReentrantLock 也 提供 了 ReentrantReadWriteLock， 从 名 字 上 束 可 
以 看 出 是 读 写 锁 ， 主 要 用 于 读 多 写 少 并 且 读 不 需要 互 斥 的 场景 。 这 样 
的 场景 使 用 读 写 锁 会 比 使 用 全 部 互 斥 的 锁 的 性 能 高 很 多 。 


下 面 列 一 下 代码 片段 : 


lock.1lock(); 


try { 


//do something 


} 

finally { 
lock.unlock(); 

} 


在 获得 锁 之 后 ，unlock 一 般 是 放 在 finally 中 ， 以 保证 一 定 会 释放 锁 。 我 
们 可 以 根据 需要 增加 相应 的 catch 块 。tryLock 的 写法 类 似 ， 这 里 不 再 长 


述 。 


ReentrantReadWriteLock 与 ReentrantLock 的 用 法 很 类 似 ， 差 异 是 
ReentrantReadWriteLock 通 过 readLockO 和 writeLockO 两 个 方法 获得 相关 
0 而 这 两 个 锁 也 是 按照 前 面 的 方式 进行 加 锁 和 解锁 
Es 


3.2.3.4 volatile 


之 前 提 到 了 synchronized 天 键 字 ，synchronized 除 了 有 互 斥 的 作用 外 ， 
还 有 可 见 性 的 作用 。 可 见 性 指 的 是 在 一 个 线程 中 修改 变量 的 值 以 后 ， 
在 其 他 线程 中 能 够 看 到 这 个 值 。synchronized 保 证 了 synchronized 块 中 
变量 的 可 见 性 ， 而 volatile 则 是 保证 了 所 修饰 变量 的 可 见 性 。volatile 是 
轻 量 级 的 实现 变量 可 见 性 的 方法 ， 其 具体 使 用 也 很 徐 单 ， 在 变量 前 面 
增加 volatile 关 键 字 束 行 了 。 因 为 volatile 只 是 保证 了 同一 个 变量 在 多 线 
程 中 的 可 见 性 ， 所 以 它 更 多 是 用 于 修饰 作为 开关 状态 的 变量 。 


与 synchronized 及 ReentrantLock 等 提供 的 互 斥 相 比 ，volatile 只 提供 了 变 
量 的 可 见 性 支持 。 同 一 个 变量 线程 间 的 可 见 性 与 多 个 线程 中 操作 互 不 
和 ， 操 作 互 斥 是 提供 了 操作 整体 的 原子 性 ， 千 万 不 要 混 清 


我 们 通过 一 个 例子 来 看 一 下 : 


int i1; public int geti1(){return i1;} 
volatile int i2;public int geti2(){return i2,;} 


int i3; public synchronized int geti3(){return i3;} 


代码 中 对 于 getil 的 调用 获取 的 是 当前 线程 中 的 副本 ， 这 个 值 不 一 定 是 
最 新 的 值 。 对 于 geti2， 因 为 记 被 修 希 为 volatile， 因 此 对 于 JVM 来 说 这 
个 变量 不 会 有 线程 的 本 地 副本 ， 只 会 放 在 主 存 中 ， 所 以 得 到 的 全 一 定 
是 最 新 的 。 而 对 于 geti3， 因 为 有 synchronized 关 键 字 修 虎 ， 保 证 了 线程 
人 所 以 也 会 得 到 最 新 的 值 。 上述 对 比 是 在 读 


我 们 接着 看 看 写 的 情况 。 同 样 的 ， 对 于 setil， 当 前 线程 在 调用 了 setil 
百 会 得 到 最 痢 的 这 值 ， 而 另外 的 线程 获取 不 一 定 可 以 立刻 看 到 最 新 的 
值 。 对 于 seti2， 则 可 以 立刻 在 其 他 线程 看 到 狐 的 值 ， 因 为 volatile 保 证 
了 只 有 一 份 主 存 中 的 数据 。 对 于 seti3， 调 用 后 必须 在 synchronized 修 饰 
的 方法 或 代码 块 中 读 取 i3 的 值 才 可 以 看 到 最 新 值 ， 因 为 synchronized 不 
仅 会 把 当前 线程 修改 的 变量 的 本 地 副本 同步 给 主 存 ， 还 会 从 主 存 读 取 
数据 更 狐 本 地 副本 。 


int i1; public void seti1(int v){i1i=v;} 
volatile int i2;public void seti2(int v){i2=v;} 


int i3; public synchronized void seti3(int v){i3=v,;} 


从 上 面 的 例子 可 以 看 出 volatile 和 synchronized 的 效果 是 类 似 的 ， 主 要 的 
差别 在 于 synchronized 还 有 互 不 的 效果 。 我 们 来 看 一 个 简单 的 例子 : 


volatile int count; 
Hashtable<String, String>h=new Hashtable<Sstring, String>(); 


public void addContent(String key, String value)t{ 


if(count<100){ 
h.put(key, value); 


COUNt++; 


上 面 的 代码 中 ， 我 们 用 count 来 计算 当前 进入 Hashtable 的 总 数 ， 但 是 这 
段 代 码 是 有 问题 的 。 原 因 是 volatile 虽 然 解决 了 可 见 性 的 问题 ， 但 是 不 
能 控制 并 发 ， 也 束 是 多 个 线程 同时 执行 addContent 时 会 可 能 让 
Hashtable 的 元 素数 量 超过 100。 对 于 这 一 问题 采用 synchronized 残 可 以 
解决 了 ， 因 为 synchronized 保 证 了 代码 块 的 串 行 执行 。 


3.2.3.5 Atomics 


在 JDK5 中 增加 了 java.util.concurrent.atomic 包 ， 这 个 包 中 是 一 些 以 
Atomic 开 头 的 类 ， 这 些 类 主要 提供 一 些 相 关 的 原子 操作 。 我 们 以 
AtomicInteger 为 例 来 看 一 个 多 线程 计数 器 的 场景 。 场 景 很 简 单 ， 让 多 
个 线程 都 对 计数 姻 进 行 加 1 操作 。 我 们 一 般 可 能 会 这 样 做 : 


public class Counteri1{ 
private int counter=0; 
public int increase(){ 


synchronized ( this ){ 


counter=counter+1; 


return counter; 


public int decrease(){ 


synchronized ( this ){ 


counter=counter-1,; 


return counter; 


而 采用 了 AtomicInteger 后 ， 代 码 会 变 成 下 面 的 样子 : 


public class Counter2{ 


private AtomicInteger counter= new 
AtomicIinteger(); 


public int increase(){ 


return counter.incrementAndGet(); 
} 


public int decrease(){ 


return counter.decrementAndGet(); 


采用 AtomicInteger 之 后 代码 变 得 人 简洁 了 ， 更 重要 的 是 性 能 得 到 了 所 
升 ， 而 且 是 比较 明显 的 提升 ， 有 兴趣 的 读者 可 以 在 自己 的 机 器 上 进行 


测试 。 性 能 提升 的 原因 主要 在 于 AtomicInteger 内 部 通过 JNI 的 方式 使 用 
了 硬件 支持 的 CAS 指 令 。 


而 在 java.util.concurrent.atomic 包 中 ， 除 了 AtomicInteger 外 ， 还 有 很 多 
实用 的 类 ， 有 具体 使 用 方式 可 以 参考 相关 的 说 明 。 


3.2.3.6 wait 、 notify 和 notifyAll 


wait、notify 和 notifyAll 是 Java 的 Object 对 象 上 的 三 个 方法 。 顾 名 思 义 ， 

wait 是 进行 等 待 的 ， 而 notify 和 notifyAll 是 进行 通知 的 。 在 多 线程 中 ， 

可 以 把 某 个 对 象 作为 事件 对 象 ， 通 过 这 个 对 象 的 wait 、notify 和 

notifyAl! 方 法 来 完成 线程 间 的 状态 通知 。notify 和 notifyAll 都 是 唤醒 调 

用 同一 个 对 象 wait 方 法 的 线程 ， 二 者 的 区 别 在 于 ，notify 会 唤醒 一 个 等 

。 (如 图 3-5 所 示 ) ， 而 notifyAll 会 唤醒 所 有 的 等 待 线程 (如 图 3-6 
不 o 


图 3-6 ”wait 与 notifyAll 


3-5 的 代码 示例 如 下 ，wait 与 notifyAl 的 情况 与 之 类 似 。 提 醒 一 下 ， 
对 wait、notify 和 notifyAll 的 调用 都 必须 是 在 对 象 的 synchronized 块 中 。 


public void testwait() throws InterruptedExceptiont{ 
synchronized ( this ){ 


this .wait(); 


} 
public void testNotify()t{ 
synchronized (this ){ 


this .notify(); 


在 实践 中 ， 对 wait 的 使 用 一 般 是 符 在 一 个 循环 中 ， 并 且 会 判断 相关 的 
数据 状态 是 否 到 达 预 期 ， 如 果 没 有 则 会 继续 等 待 ， 这 么 做 主要 是 为 了 
防止 虚假 唤醒 。 


3.2.3.7 CountDownLatch 


CountDownLatch 古 java.util.concurrent 包 中 的 一 个 类 。CountDownLatch 
主要 提供 的 机 制 是 当 多 个 (具体 数量 等 于 初始 化 CountDownLatch 时 的 
count 人 参数 的 值 ) 线程 都 到 达 了 预期 状态 或 完成 预期 工作 时 触发 事件 ， 
其 他 线程 可 以 等 竺 这 个 事件 来 触发 目 己 后 续 的 工作 。 这 里 需要 注意 的 
是 ， 等 竺 的 线程 可 以 是 多 个 ， 即 CountDownLatch 是 可 以 唤醒 多 个 等 符 
的 线程 的 。 到 达 目 己 预 期 状态 的 线程 会 调用 CountDownLatch 的 
countDown 方 法 ， 而 等 待 的 线程 会 调用 CountDownLatch 的 await 方 法 。 
从 图 3-7 中 我 们 能 更 容易 地 理解 。 


latch.countDown latch.countDown latch.countDown 


latch.await latch.await 


图 3-7 CountDownLatch 


如 图 3-7 所 示 ， 如 果 CountDownLatch 初 始 化 的 count 为 3， 并 且 当 线程 
1、 线 程 2、 线 程 3 都 完成 了 latch.countDown 调 用 后 ， 线 程 4 和 线程 5 会 从 
latch.await 返 回 ， 继 续 执 行 后 面 的 代码 。 


如 果 CountDownLatch 初 始 化 的 count 值 为 1， 那 么 这 就 退化 为 一 个 单一 
事件 了 ， 即 是 由 一 个 线程 来 通知 其 他 线程 ， 歼 果 等 同 于 对 象 的 wait 和 
notifyAll。count 值 大 于 1 是 利用 的 方式 ， 目 的 是 让 多 个 线程 到 达 各 目的 
预期 状态 ， 变 为 一 个 事件 进行 通知 ， 线 程 则 继续 自己 的 行为 而且 这 
是 ， 否 则 等 每 的 线程 就 需要 等 得 很 多 事件 


我 们 来 看 一 个 具体 的 例子 吧 。 假 设 我 们 使 用 一 台 多 核 的 机 器 对 一 组 数 
据 进 行 排序 ， 那 么 我 们 可 以 把 这 组 数据 分 到 不 同 线程 中 进行 排序 ， 然 
后 合并 ; 可 以 利用 线程 池 来 管理 多 线程 ; 可 以 将 CountDownLatch 用 作 
各 个 分 组 数据 都 排 好 序 的 通知 。 下 面 来 看 一 下 代码 片段 。 


先 看 主线 程 : 


int count=10; 


final CountDownLatch latch= new 
CountDownLatch(count); 


int [] datas= new int [10204]; 
int step=datas.1length/count; 
for (int i=0;i<count;i++){ 
int start=i*step; 
int end=(i+1)*step; 
if ( i==count-1) end=datas. length ; 


threadPool.execute( new 
MyRunnable(latch, datas, start, end)); 


} 


latch.await(); 


// 合 并 数据 


这 里 没有 完整 列 出 创建 线程 池 及 合并 数据 的 代码 。 我 们 再 看 一 下 具体 
任务 的 代码 ， 也 就 是 MyRunnable 的 run 方 法 的 实现 : 


public void run()t{ 
// 数 据 排序 


latch.countDown( ) ， 
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由 于 篇 幅 关 系 ， 这 里 没有 列 出 数据 排序 的 具体 代码 ， 只 是 为 了 让 读者 
了 解 一 下 CountDownLatch 的 countDown() 方 法 的 使 用 。 


3.2.3.8 CyclicBarrier 


CyclicBarrier， 从 字面 理解 是 指 循环 屏障 。CyclicBarrier 可 以 协同 多 个 
线程 ， 让 多 个 线程 在 这 个 屏障 前 等 待 ， 直 到 所 有 线程 都 到 达 了 这 个 屏 
障 时 ， 再 一 起 继续 执行 后 面 的 动作 。 来 看 看 图 3-8。 


barrier.await barrier.await 
| barrier.await | 


图 3-8 CyclicBarrier 


图 3-8 的 三 个 线程 中 各 有 一 个 barrierawait， 那 么 任何 一 个 线程 在 执行 到 
barrier.await 时 束 会 进入 阻塞 等 每 状态 ， 直 到 三 个 线程 都 到 了 
barrierawait 时 才 会 同时 从 await 区 回 ， 继 续 后 续 的 工作 。 此 外 ， 如 采 在 
构造 CyclicBarrier 时 设置 了 一 个 Runnable 实 现 ， 那 么 最 后 一 个 到 
await 的 线程 会 执行 这 个 Runnable 的 run 方 法 ， 以 完成 一 些 预 设 的 
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我 们 看 一 下 ， 如 果 把 前 面 使 用 CountDownLatch 的 代码 改 为 使 用 


CyclicBarrier 会 怎样 : 


int count=10 


final CyclicBarrier barrier= new 
CyclicBarrier(count+1); 


int [] datas= new int [10204]; 
int step=datas.1length/count; 
for (int i=0;i<count;i++){ 
int start=i*step; 
int end=(i+1)*step; 
if ( i==count-1) end=datas.length,; 


threadPool.executel( new 
MyRunnable(barrier, datas, start, end)); 


} 


barrier .await( ); 


// 合 并 数据 


可 以 看 到 ， 构 造 CyclicBarrier 对 象 传 入 的 参数 与 构造 CountDownLatch 
对 象 传 入 的 参数 值 不 同 ， 前 者 比 后 者 的 参数 大 了 1 。 原 因 是 构造 
CountDownLatch 的 参数 的 数值 是 调用 countDown 的 数量 ， 而 
CyclicBarrier 的 数量 是 await 的 数量 。 


来 看 一 下 工作 线程 的 代码 ， 与 CountDownLatch 的 具体 任务 的 代码 很 
像 ， 只 是 多 了 捕获 异常 的 代码 : 


public void run(){ 


// 数 据 排序 


try { 


barrier.await( ); 
} catch (InterruptedException e){ 


} catch (BrokenBarrierException e)t{ 
} 
} 


CyclicBarrier 和 CountDownLatch 都 是 用 于 多 个 线程 间 的 协调 的 。 二 者 
的 一 个 很 大 的 差别 是 ，CountDownLatch 是 在 多 个 线程 都 进行 了 
latch.countDown 后 才 会 触发 事件 ， 唤 柄 await 在 latch 上 的 线程 ， 而 执行 
countDown 的 线程 ， 执 行 完 countDown 后 会 继续 目 己 线程 的 工作 : 
CyclicBarrier 是 一 个 栅栏 ， 用 于 同步 所 有 调用 await 方 法 的 线程 ， 并 且 
等 所 有 线程 都 到 了 await 方 法 时 ， 这 些 线程 才 一 起 返回 继续 各 目的 工作 

(因为 使 用 CydlicBarrier 的 线程 都 会 阻塞 在 await 方 法 上 ， 所 以 在 线程 
池 中 使 用 CyclicBarrier 时 要 特别 小 心 ， 如 果 线 程 池 的 线程 数 过 少 ， 那 么 
就 会 发 生死 锁 了 ) 。 此 外 ，CountDownLatch 与 CyclicBarrier 还 有 一 个 
了 ， 那 就 是 CountDownLatch 不 能 循环 使 用 ，CydlicBarrier 可 以 循环 
吏 用 。 


3.2.3.9 Semaphore 


Semaphore 是 用 于 管理 信号 量 的 ， 构 造 的 时 候 传 入 可 供 管理 的 信号 量 的 
数值 。 简 单 来 说 ， 信 号 量 对 象 管理 的 信号 就 像 令 有 牌 ， 构 造 时 传 入 个 
数 ， 避 数 就 是 控制 并 发 的 数量 。 我 们 需要 控制 并 发 的 代码 ， 执 行 前 先 
获取 信号 (通过 acquire 获 取信 号 许可 ) ， 执 行 后 归还 信号 (通过 
release 归 还 信号 许可 ) 。 每 次 acquire 成 功 返 回 后 ，Semaphore 可 用 的 信 
号 量 就 会 减少 一 个 ， 如 果 没 有 可 用 的 信号 ，acquire 调 用 就 会 阻塞 ， 等 
待 有 release 调 用 释放 信号 后 ，acquire 才 会 得 到 信号 并 返回 。 


如 果 Semaphore 管 理 的 信和 号 量 只 有 1 个 ， 那 么 束 退 化 到 互 不 锁 了 ; 如 果 
多 于 1 个 信号 量 ， 则 主要 用 于 控制 并 发 数 。 与 通过 控制 线程 数 来 控制 并 
发 数 的 方式 相 比 ， 通 过 Semaphore 来 控制 并 发 数 可 以 控制 得 更 加 细 粒 
。 ， 因 为 真正 被 控制 最 大 并 发 的 代码 放 到 acquire 和 release 之 间 束 行 


我 们 通过 一 个 例子 看 一 下 Semaphore 的 使 用 ， 例 如 我 们 需要 控制 远程 方 
法 的 并 发 量 ， 超 过 并 发 量 的 方法 就 等 竺 有 其 他 方法 执行 返回 后 再 执 
行 ， 那 么 代码 大 概 是 这 样 的 : 


semaphore .acquire(); 


try { 
// 调 用 远程 通信 的 方法 


} 
finally { 

semaphore .release(); 
有 


代码 很 简单 ， 需要 我 们 注意 的 仍然 是 release 的 调用 。 此 外 ，acquire 和 
release 是 可 以 有 参数 的 ， 参 数 的 含义 就 是 获取 /返还 的 信号 量 的 个 数 。 


3.2.3.10 Exchanger 


Exchanger， 从 名 字 上 理解 就 是 交换 。Exchanger 用 于 在 两 个 线程 之 间 
进行 数据 交换 。 线 程 会 阻塞 在 Exchanger 的 exchange 方 法 上 ， 直 到 男 外 
一 个 线程 也 到 了 同一 个 Exchanger 的 exchange 方 法 时 ， 二 者 进行 交换 ， 
然后 两 个 线程 会 继续 执行 自身 相关 的 代码 。 


如 图 3-9 所 示 的 两 个 线程 ， 无 论 谁 移 到 达 了 exchangerexchange， 都 会 等 
待 男 外 一 个 线程 也 到 达 ， 人 然后 交换 数据 ， 继 续 同 下 执行 。 


exchanger.exchan exchanger.exchan 
Be ge 


图 3-9 Exchanger 


下 面 通过 代码 看 一 个 具体 的 例子 。 假 设 有 两 个 线程 ， 线 程 1 和 线程 2， 
它们 都 有 一 个 队列 ， 我 们 在 它们 的 队列 中 分 别 写 入 数据 ， 然 后 线程 交 


换 队 列 ， 打 印 队列 数据 后 结束 。 


final Exchanger<List<Integer>>exchanger = 


Exchanger <List<Integer>>(); 
new Thread (){ 

Q@Override 

public void run()t{ 
List<Integer>l1 = new ArrayList<Integer>(2); 
1.add(1); 
1.add(2); 
try { 

l=exchanger .exchange(1); 


} catch (InterruptedException e) { 


e.printStackTrace( ); 


new 


System.out,.printlLn("Thread1"+]) ， 
} 
}.start(); 
new Thread(){ 
Q@Override 
public void run()t{ 
List<Integer>1 = new ArrayList<Integer>(2); 
1.add(4); 
1.add(5); 
try 工 
1 = exchanger.exchange(1); 
} catch (InterruptedException e) { 
e.printStackTrace( ); 


} 


System.out.println("Thread2"+1]); 


} 


}.start(); 


3.2.3.11 Future 和 FutureTask 


Future 是 一 个 接口 ，FutureTask 是 一 个 具体 实现 类 。 我 们 这 里 先 通 过 一 
个 场景 来 看 看 儿 种 不 同 的 处 理 方式 。 
人 假设 有 这 样 
Cg Y : 


HashMap getDataFromRemote( ) 


如 采 是 最 传统 的 同步 方式 使 用 ， 代 码 大 概 是 这 样 的 : 


HashMap data = getDataFromRemote( ) 


我 们 将 一 直 等 待 getDataFromRemote() 的 返回 ， 然 后 才能 继续 后 面 的 工 
作 。 这 个 函数 是 从 远程 获取 数据 的 计算 结果 的 ， 如 采 需 要 的 时 间 很 
长 ， 并 且 后 面 的 那 部 分 代码 与 这 些 数据 没有 关系 的 话 ， 阻 塞 在 这 里 等 
签 结 采 或 会 比较 浪费 时 间 。 那 么 我 们 有 什么 办 法 改进 呢 ? 

能 够 想到 的 办 法 惑 是 调用 函数 后 蕊 上 返回 ， 然 后 继续 癌 下 执行 ， 等 需 
要 用 数据 时 再 来 用 ， 或 者 说 再 来 等 符 这 个 数据 。 上 具体 实现 起 来 有 两 种 
方式 ， 一 个 是 用 Future， 另 一 个 是 用 回调 。 


我 们 先 来 看 一 下 Future 该 怎么 用 ， 代 码 如 下 : 


Future< HashMap >future = getDataFromRemote2(); 


//do something 


HashMap data = (HashMap ) future.get(); 


可 以 看 到 ， 我 们 调用 的 方法 返回 的 是 一 个 Future 对 象 

(getDataFromRemote2 与 getDataFromRemote 是 不 同 的 ) ， 然 后 接着 进 
行 目 己 的 处 理 ， 后 面 通过 future.get 来 获取 真正 的 返回 值 。 也 束 是 说 ， 
在 调用 了 getDataFromRemote2 后 ， 束 已 经 启动 了 对 远程 计算 结果 的 获 
取 ， 同 时 自己 的 线程 还 在 继续 处 理 ， 直 到 需要 时 再 获取 数据 。 我 们 看 
一 下 getDataFromRemote2 的 实现 : 


private Future<HashMap>getDataFromRemote2(){ 


return threadPool.submit( new Callable<HashMap>(){ 
public HashMap call() throws Exceptiont{ 


return getDataFromRemote(); 


}); 
} 


可 以 看 到 ， 在 getDataFromRemote2 中 还 是 使 用 了 getDataFromRemote 来 
完成 具体 操作 ， 并 且 用 到 了 线程 池 : 把 任务 加 入 线程 池 中 ， 把 Future 
对 象 返 回 出 去 。 我 们 调用 了 getDataFromRemote2 的 线程 ， 然 后 返回 来 
2 卖 下 面 的 执行 ， 而 背后 是 另外 的 线程 在 进行 远程 调用 及 等 待 的 工 


对 于 Future 来 说 ， 除 了 刚才 代码 中 的 get 方 法 外 ， 还 有 一 个 市 参数 的 get 
用 来 设置 get 的 等 待 时 间 ， 也 就 古 进 行 超时 设置 ， 而 不 是 一 直 等 


除了 使 用 Future 外 ， 另 一 种 具体 实现 方式 是 使 用 回调 的 方式 来 修改 阻 
= 归 记 就 直列 出 惧 体 代 权 了 有 兴趣 的 读者 可 以 目 己 写 一 


FutureTask 是 一 个 具体 实现 类 ， 在 前 面 例子 中 ，ThreadPoolExecutor 的 
submit 方 法 返回 的 是 一 个 Future 的 实现 ， 这 个 实现 就 是 FutureTask 的 一 
具体 实例 。 。 FutureTask 帮 助 实 现 了 具体 的 任务 执行 以 及 与 Future 接 口 
中 的 get 等 方法 的 天 联 。FutureTask 除 了 帮助 ThreadPoolExecutor 很 好 地 
实现 了 对 加 入 线程 池 的 任务 的 Future 文 持 外 ， 也 为 我 们 提供 了 很 大 的 
便利 ， 使 得 我 们 目 己 也 可 以 实现 支持 Future 的 任务 调度 。 


3.2.3.12 ”并 发 容器 


在 JDK 中 ， 有 一 些 线程 不 安全 的 容器 ， 也 有 一 些 线程 安全 的 容 右 。 并 
发 容 句 是 线程 安全 容 紫 的 一 种 ， 但 是 并 发 容 右 强调 的 是 容 右 的 并 发 


性 ， 也 束 是 说 不 仅 追 求 线程 安全 ， 还 要 考虑 并 发 性 ， 提 升 在 容 禹 并 发 
环境 下 的 性 能 。 


加 锁 互 不 的 方式 确实 能 够 方便 地 完成 线程 安全 ， 不 过 代价 是 降低 了 并 
发 性 ， 或 者 说 就 是 串 行 了 。 而 并 发 容器 的 思路 是 尽量 不 用 锁 ， 比 较 有 
代表 性 的 是 以 CopyOnWrite 和 Concurrent 开 头 的 儿 个 容器 。 
CopyOnWrite 的 思路 是 在 更 改 容 恬 的 时 候 ， 把 容器 写 一 份 进行 修改 ， 

你 证 正在 读 的 线程 不 受 影 响 ， 这 种 方式 用 在 读 多 写 少 的 场景 中 会 非常 
好 ， 因 为 实质 上 是 在 写 的 时 候 重 建 了 一 次 容器 。 而 以 Concurrent 开 头 的 
容器 的 具体 实现 方式 则 不 完全 相同 ， 总 体 来 说 是 尽量 保证 读 不 加 锁 ， 

并 且 修 改 时 不 影响 读 ， 所 以 会 达到 比 使 用 读 写 锁 更 高 的 并 发 性 能 。 关 
0 读者 可 以 直接 分 析 JDK 中 的 源 


3.2.4 ”动态 代理 


在 3.2.3 节 中 我 们 介绍 了 Java 并 发 编程 中 的 一 些 重 要 的 类 、 接 口 及 方 
法 ， 这 一 节 我 们 来 看 一 下 动态 代理 ， 这 对 后 面 讲 中 间 件 的 实现 是 非常 
重要 的 基础 。 大 家 都 比较 熟悉 程序 设计 中 的 代理 模式 ， 代 理 类 与 委托 
类 具有 同样 的 接口 ， 代 理 类 也 有 很 多 的 实际 应 用 。 在 具体 实现 上 ， 有 
静态 代理 和 动态 代理 之 分 。 


静态 代理 方式 是 为 每 个 被 代理 的 对 象 构造 对 应 的 代理 类 ， 这 种 方式 相 
对 有 些 碾 烦 ， 例 如 我 们 有 一 个 计算 器 的 接口 以 及 一 个 具体 的 实现 : 


public interface Calculatort{ 
int add( int a, int b); 

} 

public class CalculatorIimpl implements Calculatort{ 
public int add( int a, int b)t{ 


return a + b; 


} 
public class CalculatorProxy implements Calculatort{ 
private Calculator calculator,; 
CalculatorProxy(Calculator calculator)t{ 
this. calculator=calculator; 
} 
public int add( int a, int b)t{ 


// 具 体 执 行 前 可 以 做 的 工作 


int result=calculator.add(a, b); 


// 具 体 执 行 后 可 以 做 的 工作 


return result; 


在 上 面 的 代码 中 ， 我 们 定义 了 一 个 接口 Calculator、 一 个 具体 实现 类 
CalculatorImpl 和 一 个 代理 类 CalculatorProxy。 在 CalculatorProxy 类 的 实 
现 中 ， 我 们 可 以 看 到 在 add 方 法 中 调用 了 真正 实现 类 的 add 方 法 ， 并 且 
在 调用 真实 方法 之 前 和 之 后 都 有 机 会 做 一 些 工 作 ， 例 如 记录 日 志 、 记 
录 执 行 时 间 等 。 这 种 方式 看 上 去 非常 直接 ， 实 现 也 比较 方便 ， 不 过 存 
在 一 个 问题 ， 即 如 果 需 要 对 多 个 类 进行 代理 ， 并 且 在 代理 类 中 的 功能 
实现 是 一 致 的 ， 那 么 我 们 融 需 要 为 每 一 个 具体 的 类 都 完成 一 个 代理 
类 ， 然 后 重复 地 写 很 多 类 似 的 代码 一 一 这 会 非常 矿 烦 。 


使 用 动态 代理 可 以 帮助 我 们 解除 这 种 麻烦 。 动 仿 代 理 是 动态 地 生成 具 
体委 托 类 的 代理 类 实现 对 象 。 与 静态 代理 不 同 ， 动 态 代 理 并 不 需要 为 
各 个 委托 类 逐一 实现 代理 类 ， 只 需要 为 一 类 代理 行为 写 一 个 具体 的 实 
现 类 束 行 了 。 例 如 ， 我 们 现在 需要 计算 一 些 方法 调用 时 间 ， 如 采用 静 


仿 代 理 束 需要 为 每 个 委托 类 部 写 一 个 代理 类 ， 而 用 动态 代理 则 会 非常 
简单 。 下 面 我 们 来 看 一 个 具体 的 例子 ， 其 中 具体 的 实现 类 以 及 所 实现 
的 接口 的 写法 与 前 面 静态 代理 是 相同 的 ， 我 们 来 看 一 下 不 同 的 部 分 : 


public void testDynamicProxy( ){ 
Calculator calculator = new CalculatorIimpl(); 


LogHandler lh = new LogHandler(calculator); 


Calculator proxy= 
(Calculator) Proxy.newProxyInstance(calculator 


.getClass().getCclassLoader(), calculator.g 
etCclass().getIinterfaces(), 


1h); 
proxy.add(1, 1); 


} 


public class LogHandler implements InvocationHandlert{ 
Object obj; 
LogHandler (Object obj)t{ 


this. obj=obj; 


public 
Object invoke(Object obj1i, Method method, Object[] args) 


throws Throwablef{ 


this. doBefore(); 


Object o=method.invoke(obj, args); 


this. doAfter(); 


return 0/， 
public void doBefore(){ 
System.out.println("do this before"); 
地 
public void doAfter()t{ 


System.out.println("do this after"); 


} 


从 上 面 的 代码 可 以 看 到 动态 代理 的 使 用 方式 及 动态 代理 本 号 的 实现 。 
通过 Proxy.newProxyInstance 来 创建 代理 的 方法 可 以 为 不 同 的 委托 类 都 
创建 代理 类 。 在 具体 的 代理 实现 上 ， 所 给 出 的 是 通用 的 实现 ， 被 代理 
的 方法 调用 都 会 进入 invoke 方 法 中 ， 我 们 可 以 在 invoke 的 内 部 做 很 多 事 
情 。 从 上 面 的 代码 可 以 看 到 ， 使 用 动态 代理 后 ， 对 于 做 同样 事情 的 代 
理 只 需 实现 一 裔 ， 束 可 以 提供 给 多 个 不 同 的 委托 类 使 用 了 。 


3.2.5 ”反射 


与 动态 代理 一 样 ， 反 射 也 是 中 间 件 实现 的 重要 基础 。 反 射 是 Java 提 供 
的 非常 方便 而 又 强大 的 功能 。Java 反 射 机 制定 指 在 运行 状态 中 ， 对 于 
任意 一 个 类 ， 都 能 够 知道 这 个 类 的 所 有 属性 和 方法 ， 对 于 任意 一 个 对 
象 ， 都 能 够 调用 它 的 任意 一 个 方法 和 属性 。Java 反 射 机 制 主要 提供 了 
以 下 功能 : 在 运行 时 判断 任意 一 个 对 象 所 属 的 类 ; 在 运行 时 构造 任意 
一 个 类 的 对 象 ， 在 运行 时 判断 任意 一 个 类 所 具有 的 成 员 变 量 和 方法 ; 
在 运行 时 调用 任意 一 个 对 象 的 方法 ; 生成 动态 代理 。 


Java 的 反射 机 制 为 Java 本 吴 仙 来 了 动态 性 ， 有 是 一 个 非常 强大 的 工具 ， 
能 够 让 代码 变 得 更 加 灵活 。Java 的 反射 机 制 使 得 Java 语 言 可 以 在 运行 
时 去 认识 在 编译 时 并 不 了 解 的 类 /对 象 的 信息 ， 并 且 能 够 调用 相应 的 方 


法 并 修改 属性 值 。 反 射 的 技术 对 于 后 面 实现 通用 的 远程 调用 的 框架 有 
非常 大 的 帮助 。 


我 们 下 面 来 看 看 各 种 反射 用 法 的 示例 。 
1. 获取 对 象 属于 哪个 类 


Class clazz = object.getClass( ) ; 


获取 对 应 的 类 非 第 简单， 一 行 代码 整 可 以 了 。 而 拿 到 具体 的 Class 对 象 - 
clazz 后 束 可 以 做 很 多 工作 了 。 


2. 获取 类 的 信息 


String className = clazz.getName(); // 获 取 类 的 名 称 


Method[] methods = clazz.getDeclaredMethods(); // 获 取 类 中 定 
义 的 方法 


Field[] fields = clazz.getDeclaredFields(); // 获 取 类 中 定 
义 的 成 员 


上 面 的 代码 只 是 通过 Class 对 象 获取 类 信息 的 部 分 代码 ， 通 过 Class 对 象 
es 语 的 内 容 ， 根 据 具体 场景 中 的 需求 去 完成 代码 就 可 以 


3. 构建 对 象 


Class.forName ("ClassName") .newInstance(); 


上 上 面 的 这 行 代码 是 创建 对 象 的 一 种 方式 。 可 以 看 到 与 平时 的 new 
XXX0 完 全 不 同 ， 在 这 里 ，"ClassName" 字 符 串 可 以 用 一 个 变量 代替 ， 


也 就 是 运行 时 才 知 道 要 构建 的 对 象 的 类 是 什么 ， 而 不 是 像 new XXX() 
那样 进行 硬 编码 。 这 正 是 动态 性 的 体现 。 


此 外 ， 和 需要 注意 的 是 通过 newInstance 调 用 来 构造 对 象 时 ， 要 求 被 构造 
的 对 象 的 类 一 定 要 有 一 个 无 参数 的 构造 国 数 ， 否 则 会 抛 出 异常 。 而 接 
下 来 看 到 的 动态 执行 方法 除了 可 以 执行 普通 方法 外 ， 也 可 以 调用 构造 
函数 ， 这 也 是 构建 对 象 的 一 种 方式 。 


4. 动态 执行 方法 


Method method = clazz.getDeclaredMethod("add", int.class, i 
nt.class); 


method.invoke(this, 1, 1) 


上 面 的 代码 是 调用 对 象 的 方法 的 例子 ， 主 要 分 为 两 个 步骤 ， 首 先 获取 
方法 (Method) 对 象 本 身 ， 然 后 调用 Method 的 ipvoke 方 法 。 相 对 于 调 
差别 在 于 Method 的 invoke 方 法 的 第 一 个 参数 可 以 直 
安信 null 。 


5. 动态 操作 属性 


Field field = clazz.getDeclaredField("name"); 


field.set( this ， "Test"); 


操作 属性 的 方式 与 调用 方法 非 党 类似， 需要 先 获 取 Field 对 象 ， 然 后 通 
过 set 方 法 来 设置 属性 值 ， 通 过 get 方 法 来 获取 属性 值 。 如 果 是 属于 类 的 
静态 属性 ， 那 么 set 和 get 方 法 的 第 一 个 参数 可 以 直接 设置 为 null。 


除了 Java 目 号 提供 的 动态 代理 和 反射 的 文 持 外 ， 字 下 码 增强 也 是 经 党 
会 用 到 的 技术 ， 并 且 有 一 些 第 三 方 的 库 可 以 直接 使 用 。 比 较 常 见 的 有 
Javassist ( http://www/javassist.org ) cglib 
( http://cglib.sourceforge.net ) 、 asm (http://asm.ow2.org ) 和 bcel 
(http://commons.apache.org/bcel/) ， 读 者 可 以 到 这 几 个 网 站 上 了 解 具 


其 他 很 多 网 站 上 也 有 非常 多 的 介绍 和 具体 例子 ， 读 者 可 以 目 
行 查 从 刘 


3.2.6 ”网 络 通信 实现 选择 


网 络 通信 在 分 布 式 系统 和 大 型 网 站 中 非常 重要 ，Java 中 间 件 系统 也 要 
与 网 络 通信 打交道 。 在 第 1 章 关 于 分 布 式 系统 的 基础 知识 中 ， 我 们 介绍 
过 网 络 通信 的 知识 ， 主 要 介绍 了 三 个 模型 : BIO、NIO 和 AIO“。 在 1.4 版 
本 的 JDK 中 ， 增加 了 对 NIO 的 支持 在 1.7 版 本 的 JDK (也 就 是 Java SE 
7) 中 ， 增 加 了 对 AIO 的 支持 。Java 对 于 NIO 和 AIO 的 支持 让 我 们 能 够 
更 好 地 进行 网 络 通信 的 服务 端的 开发 。 

在 具体 的 开发 中 ， 我 们 可 以 直接 使 用 JDK 提 供 的 API 进 行 开 发 ， 也 可 以 
选择 一 些 其 他 框架 来 简化 工作 ， 例 如 MINA、Netty 等 。 此 外 ， 一 个 非 
常 重要 的 内 容 就 是 协议 的 制定 ， 我 们 将 在 后 面 服务 框架 的 章节 进行 介 
绍 。 网 络 通信 的 具体 示例 代码 这 里 就 不 提供 了 ， 感 兴趣 的 读者 可 以 自 
己 党 试 实现 一 下 。 


3.3 ”分布 式 系统 中 的 Java 中 间 件 


在 前 面 的 小 市 中 ， A TD Dh 在 第 2 
章 中 ， 我 们 也 通过 一 个 例子 看 到 了 网 站 从 小 到 大 的 演进 中 会 遇 到 的 问 
题 。 再 来 回顾 一 下 大 型 网 站 架构 演进 的 最 后 一 个 图 ， 如 图 3- “10 所 示 。 


加 加 
JJ) 


图 3-10 ”网 站 整体 结构 图 


根据 第 2 章 的 讲述 ， 我 们 知道 在 网 站 的 演进 过 程 中 ， 一 坚 非常 重要 的 变 
化 包括 应 用 的 拆 分 、 服 务 的 拆 分 、 数 据 的 拆 分 和 应 用 的 解 类。 而 在 大 
型 网 站 中 要 具体 完成 这 样 的 工作 ， 束 需要 对 应 的 中 间 件 产品 来 应 对 和 
解决 相应 问题 。 


前 面 我 们 提 到 过 中 间 件 的 范畴 是 很 广泛 的 ， 后 面 章 节 要 介绍 的 中 间 件 
是 指 用 来 文 撑 网 站 从 小 到 大 的 变化 过 程 中 解决 应 用 拆 分 、 服 务 拆 分 、 
数据 拆 分 和 应 用 解 大 问题 的 产品 。 服务 框架 帮 助 我 们 对 应 用 进行 拆 
分 ， 完 成 服务 化 ， 数 据 层 则 帮助 我 们 完成 数据 的 拆 分 以 及 整个 数据 的 
管理 、 扩 容 、 迁 移 等 工作 ; 请 轧 中 间 件 帮助 我 们 完成 应 用 的 解 耕 ， 并 
回 我 们 提供 一 种 分 布 式 环境 下 完成 事务 的 思路 。 


如 果 把 将 要 介绍 的 中 间 件 系统 放 到 图 3-10 所 示 的 网 站 结构 图 中 ， 则 会 
成 为 图 3- 11 所 示 的 样子 。 " 我 们 先 从 这 幅 概 要 图 看 一 下 全 景 ， 然 后 再 具 


体 介 绍 每 一 部 分 的 内 容 。 


缓存 


页 面 
Ee 


服务 框架 
a 
所 居 。。 


图 3-11 引入 中 间 件 的 结构 图 


如 图 3-11 所 示 ， 在 WebApp 和 Service 之 间 ， 我 们 通过 服务 框架 解决 了 集 
群 间 的 通信 问题 ; 在 应 用 和 数据 库 之 间 ， 我 们 通过 分 布 式 数据 层 让 应 
用 可 以 方便 地 访问 已 被 分 库 分 表 的 数据 库 和 点 ;数据 复制 /迁移 帮助 我 
们 更 好 地 根据 业务 需求 完成 数据 的 分 布 ; 另外 ， 软 人 负载 中 心 和 持久 配 


年利 理 征 两 个 不 六 直 接合 业务 系统 例 用 但 却 起 到 了 很 好 的 支撑 作用 的 


系统 


在 本 书 接 下 来 的 儿 章 中 ， 我 们 将 一 起 看 一 下 这 几 个 Java 中 间 件 产品 的 


具体 设计 和 实现 。 
第 4 章 ”服务 框 染 


在 本 书 接 下 来 的 儿 章 中 ， 我 们 将 一 起 学 习 文 撑 大 型 网 站 的 Java 中 间 件 
。 我们 从 解决 应 用 服务 化 问题 的 服务 框架 开始 
说 起 。 


er 网 站 功能 持续 丰富 后 的 困境 与 应 


图 4-1 所 示 的 是 网 站 结构 的 一 个 示意 图 ， 很 多 网 站 都 会 经 历 或 正 处 于 这 
样 的 阶段 。 这 个 结构 相对 俏 单 ， 网 站 的 业务 功能 集中 在 几 个 大 应 用 
上 ， 而 且 这 些 应 用 都 直接 访问 砌 层 的 服务 ， 例 如 数据 库 、 缓 存 、 分 布 
式 文件 系统 、 搜 索引 擎 等。 


图 4-1 网 站 结构 示意 图 


应 该 说 这 样 的 结构 很 清晰 并 足够 解决 问题 。 笔 者 在 加 入 淘宝 的 时 候 ， 

淘宝 网 大 概 也 是 这 样 的 结构 ， 而 且 在 当时 很 好 地 支撑 了 每 日 一 亿 元 的 
成 区 额 和 百 万 笔 的 订单 。 随 着 压力 的 上 升 ， 我 们 更 多 想到 的 是 增加 应 
用 服务 器 的 数量 ， 但 是 这 给 数据 库 的 连接 数 市 来 了 比较 大 的 压力 。 此 


外 ， 随 着 网 站 规模 的 扩大 ， 开 发 人 员 逐 渐 增 多 ， 于 是 每 个 应 用 都 在 变 
得 复杂 、 胱 肿 一 一 在 多 个 应 用 中 会 有 重复 的 代码 ， 甚 至 在 一 个 应 用 
中 ， 由 于 多 人 维护 加 上 平时 小 需求 的 快速 开发 ， 也 有 一 些 代码 元 余 。 
和 
H。 


在 这 样 的 情况 下 ， 我 们 想到 的 一 个 方法 ， 就 是 把 应 用 拆 小 ， 保 持 每 个 
应 用 都 不 那么 大 。 具 体 有 两 种 实现 方案 。 


图 4-2 所 示 的 方案 与 我 们 当时 的 架构 是 一 样 的， 十 把 随 看 时 间 推移 而 变 
得 复杂 、 庞 大 的 应 用 拆 成 了 多 个 〈 图 示 是 从 4 个 拆 成 了 6 个 ) 。 这 样 做 
的 好 处 是 能 够 相对 较 快 地 完成 ， 但 是 仍然 存在 一 些 问 题 。 一 方面 是 数 
据 库 的 连接 数 的 压力 还 在 ， 男 一 方面 是 在 这 些 系统 之 间 会 存在 一 些 重 
复 的 代码 。 例 如 ， 在 一 个 电子 商务 网 站 中 ， 可 能 会 把 商品 管理 、 区 易 
管理 等 功能 分 在 不 同 的 系统 中 ， 而 这 两 个 系统 都 会 调用 与 用 户 相关 的 
功能 ， 那 么 在 图 4-2 所 示 结 构 下 ， 这 两 个 系统 殉 需 要 将 用 户 功 能 的 相关 
代码 分 别 写 一 过， 这 束 造 成 代码 重复 了 。 当然 也 有 使 用 共 至 库 的 方 
式 ， 但 是 应 用 起 来 不 太 方便 。 


图 4-2 ”根据 功能 拆 分 应 用 


接 下 来 看 男 外 一 个 方案 ， 如 图 4-3 所 示 。 


图 4-3 ”服务 化 方案 


这 就 是 所 谓 的 服务 化 方案 ， 我 们 在 原来 的 应 用 和 底层 的 数据 库 、 绥 存 
系统 、 文 件 系统 等 系统 之 间 增 加 了 服务 层 。 图 4-3 只 是 一 个 示意 图 ， 真 
正 实施 中 的 服务 可 能 是 多 层 的 ， 服 务 之 间 也 会 有 相互 的 访问 ， 这 古 需 
要 加 以 管理 的 ， 后 面 讲 服务 治理 时 会 提 到 。 


上 述 两 种 方案 笔者 都 实际 过 到 过 。 在 最 初 的 阶段 一 般 会 采用 第 一 种 方 
案 ， 因 为 第 一 种 方案 在 小 范围 实现 的 成 本 较 低 ， 并 且 整 体 上 也 非常 容 
易 把 控 ， 并 没有 引入 很 多 新 内 容 。 此 外 在 第 一 种 方案 中 ， 应 用 和 应 用 
之 间 很 少 直 接 交 互 ， 更 多 的 是 通过 URL 跳 转 。 而 第 二 种 方案 ,就 是 所 
谓 的 服务 化 方案 ， 使 得 系统 看 起 来 更 立体 了 ， 应 用 之 间 有 了 直接 的 访 
问 。 而 这 也 会 市 来 很 多 问题 ， 诸 如 围绕 应 用 和 应 用 之 间 访 问 等 问题 ， 
这 些 问 题 细 化 下 去 又 包含 了 很 多 的 方面 ， 我 们 会 在 后 面 一 一 道 来 。 


服务 化 的 方式 也 会 带 来 很 多 好 处 ， 首 先 从 结构 上 看 ， 系 统 架构 更 为 清 
淅 了 ， 比 之 前 更 立体 了 。 从 稳定 性 上 看 ， 一 些 散落 在 多 个 应 用 系统 
的 代码 也 变 成 了 服务 ， 并 由 专门 的 团队 进行 统一 维护 ， 这 一 方面 可 以 
提高 代码 质量 四， 另 一 方面 由 于 核心 的 相对 稳定 ， 修 改 和 发 布 次 数 会 
减少 ， 这 也 会 提高 稳定 性 @.。 最 后 ， 更 加 底层 的 资源 统一 由 服务 层 管 
理 ， 结 构 更 加 清晰 ， 也 更 利于 提高 效率 。 


服务 化 的 方式 对 于 研发 也 会 产生 一 些 影响 。 以 前 的 研发 模式 是 由 儿 个 
比较 大 的 团队 去 负 员 几 个 很 大 的 应 用 ， 然 后 这 儿 个 应 用 就 构成 了 整个 
网 站 的 应 用 。 而 随 着 服务 化 的 进行 ， 我 们 的 应 用 数量 会 有 飞速 增长 ， 

加 上 有 服务 框架 的 支持 ， 调 用 远程 服务 会 变 得 人 简单， 而 系统 内 部 的 依 


赖 关系 会 变 得 错综复杂 。 服 务 化 的 方式 会 让 多 个 规模 不 大 的 团队 专注 
在 某 个 具体 的 服务 或 者 应 用 上 ， 以 这 种 方式 来 应 对 和 解决 问题 。 


4.2 ”服务 框架 的 设计 与 实现 


本 节 我 们 来 介绍 支持 服务 化 的 服务 框架 的 设计 与 实现 。 


4.2.1 ”应 用 从 集中 式 走向 分 布 式 所 遇 
到 的 问题 


要 把 单 层 Web 应 用 的 结构 改 为 多 层 的 、 有 服务 层 的 结构 时 ， 很 多 人 不 
会 直接 做 一 个 通用 的 服务 框架 ， 而 是 为 当前 要 用 的 服务 做 一 个 RPC 的 
功能 ， 为 服务 使 用 者 提供 相关 的 客户 端 。 事实 上 ， 当 所 提供 服务 的 集 
群 多 于 一 个 时 ， 通 用 的 服务 框架 束 非 常 重要 了 。 

在 没有 服务 化 之 前 ， 应 用 都 是 通过 本 地 调用 的 方式 来 使 用 其 他 组 件 
的 。 服 务 化 会 使 得 原来 的 一 些 本 地 调用 变 为 远程 调用 。 对 于 这 种 改 
变 ， 研 发 人 员 最 关心 的 是 提高 易 用 性 以 及 降低 性 能 损失 这 两 方面 。 


我 们 先 通 过 一 张 图 来 看 一 下 服务 框 染 要 解决 的 问题 ， 如 图 4-4 所 示 。 


服务 调用 


图 4-4 ”服务 框架 要 解决 的 问题 


从 图 4-4 可 以 看 出 ， 将 原来 在 单机 的 单个 进程 中 的 一 个 方法 调用 分 获 到 
两 个 节点 上 要 经 过 好 几 个 步 又 。 


在 做 服务 框架 时 ， 我 们 需要 用 到 的 最 基础 的 知识 是 网 络 通信 相关 的 知 
识 ， 相 信 很 多 读者 在 学 习 编 程 时 都 对 网 络 通信 有 浓厚 的 兴趣 ， 会 尝试 


Socket 通 信 等 相关 的 技术 实现 人 。 这 些 是 我 们 自己 来 做 服务 框架 的 基 
础 ， 也 是 图 4-4 中 通信 部 分 的 实现 基础 。 


单机 单 进程 的 方法 〈 函 数 ) 调用 其 实 就 只 需要 把 程序 计数 器 指向 相应 
的 入 口 地 址 ， 而 在 多 机 之 间 ， 我 们 需要 对 调用 的 请 求 信息 进行 编码 ， 
然后 传 给 远程 的 节点 ， 解 码 后 再 进行 真正 的 调用 。 这 也 是 图 4-4 中 提 到 
的 编码 /解码 过 程 。 寻 址 路 由 是 用 来 让 调用 方 确定 哪个 实例 被 调用 的 ， 
实例 定位 是 指 在 被 调用 的 机 器 上 接 到 对 应 的 实例 来 进行 方法 调用 ， 从 
实现 功能 。 


4.2.2“” 透 过 示例 看 服务 框架 原型 


细心 的 读者 会 发 现 冬 4-4 并 不 完整 ， 它 只 是 体现 了 从 一 端 到 另外 一 内 的 
请求 ， 没 有 包括 响应 的 处 理 ， 而 且 者 起 来 调用 端 和 服务 端 是 不 对 称 
的 。 其 实 ， 服 务 框 染 应 该 是 既 包 含 调用 端 逻 辑 义 包含 服务 端 逻辑 的 一 
个 实现 ， 也 就 古 说 虽然 我 们 在 每 次 的 请 求 中 是 分 了 调用 端 角色 和 服务 
端 角色 ， 但 是 从 应 用 来 看 都 是 可 以 提供 和 调用 服务 的 。 这 样 措 述 可 能 
有 后 抽象 ， 下 面 我 们 用 一 个 具体 的 例子 来 说 明 这 个 过 程 。 


4.2.2.1 单机 方式 


假设 我 们 需要 提供 一 个 计算 器 的 功能 。 按 照 单 机 程序 的 做 法 ， 我 们 可 
以 实现 一 个 计算 右 的 类 ， 然 后 直接 使 用 ， 代 码 大 概 如 下 : 


public class Calculatort{ 
public int add( int a, int b)t{ 
return a + b; 
} 
public int minus( int a, int b)t{ 


return a - b; 


} 
public class Calculatort{ 
public int add(int a, int b){ 
return a + b; 
} 
public int minus( int a, int b)t{ 


return a - b; 


} 


接 看 是 使 用 计算 侨 的 代码 : 


public static void test1()t{ 


Calculator calculator = new Calculator(); 


System.out.println(calculator.add(1, 1)); 


} 


关于 计算 器 对 象 的 构建 方式 ， 我 们 在 这 里 是 直接 新 建 了 一 个 (通过 
new 的 方式 ) ， 而 在 一 些 更 加 正式 的 系统 中 ， 更 多 的 是 采用 类 似 Spring 
人 


4.2.2.2 ”实现 远程 服务 的 调用 客户 端 


我 们 接 下 来 想 看 的 就 古 ， 如 果 要 把 这 个 本 地 的 计算 絮 的 方法 调用 变 成 
一 个 远程 服务 ， 应 该 怎么 办 ? 


在 开始 之 前 ， 我 们 先 做 一 个 简单 的 事情 : 把 Calculator 的 接口 抽象 出 
来 ， 然 后 把 实现 独立 。 也 就 是 下 面 这 段 代码 : 


public interface Calculatort{ 


int add(int a, int b); 


int minus(int a, int b); 


public class CalculatorIimpl implements Calculatort{ 
public int add(int a, int b)t{ 


return ar+b ， 


public int minus(int a, int b)t{ 


return a-b; 


接 下 来 我 们 从 调用 端 开 始 看 。 


首先 ， 我 们 和 希望 调用 者 使 用 计算 需 服 务 的 方式 与 目前 的 用 法 一 样 。 那 
么 ， 我 们 需要 重新 实现 Calculator 这 个 接口 。 


public int add( int a, int b)t{ 


// 获 取 可 用 服务 地 址 列表 


List <String>1L = getAvailableServiceAddresses 
("Caluctor.add"); 


// 确 定 要 调用 服务 的 目标 机 天 


String address = chooseTarget(1); 


// 建 立 连接 


Socket s = new _Socket(address) ， 


// 请 求 的 序列 化 


byte [] request = genReqeust (a, b); 


// 发 送 请 求 


s,getOoutputStream( ) ,write(redquest ) ; 


// 接 收 结果 


byte [] response = new byte [10240]; 


s.getIinputStream().read(response); 


// 解 析 结 果 


int result = getResult(response); 


return result; 


} 


为 了 说 明 问 题 ， 我 们 用 伪 代 码 (可 能 连 伪 代 码 都 算 不 上 ) 来 说 明 关 键 
. 步 叶 。 上面 的 这 上 段 代码 是 我 们 重新 改写 的 Calculator 接 口 的 add 方 法 
和 实现。 


我 们 分 部 分 来 看 一 下 : 


// 获 取 可 用 服务 地 址 列表 


List <String>l1 = getAvailableServiceAddresses 
("Caluctor.add"); 


// 确 定 要 调用 服务 的 目标 机 天 


String address = chooseTarget(1); 


首先 根据 要 调用 的 服务 名 称 来 获取 提供 服务 的 机 融 的 地 址 列表 ， 并 且 
从 可 用 的 服务 地 址 列表 中 选择 一 个 要 调用 的 目标 机 器。 


大 家 可 以 回忆 一 下 第 1 章 中 控制 器 的 部 分 ， 其 中 提 到 了 在 分 布 式 系统 
的 几 种 控制 方式 ， 这 段 代 码 完 成 的 吏 是 类 似 的 工作 。 如 采 我 们 采用 的 
征 在 请 求 发 起 方 和 服务 提供 方 中 间 有 LVS 或 硬件 负载 均衡 的 方案 ， 那 
么 getAvailableServiceAddresses 返 回 的 瓯 是 LVS 或 硬件 负载 均衡 的 地 址 
和 端口 ， 并 且 chooseTarget 其 实 束 会 直接 反馈 这 个 地 址 端口 号 。 


如 果 我 们 使 用 名 称 服务 的 方式 ， 那 么 在 getAvailableServiceAddresses 中 
返回 的 就 是 当前 可 用 服务 的 地 址 列表 。 需 要 注意 的 是 参 
数 “Calculator.add”， 我 们 惑 是 用 它 的 值 来 定位 服务 的 ， 也 束 是 用 它 来 
告诉 名 称 服 务 要 找 的 是 哪个 服务 。 一 般 来 说 ， 这 个 用 来 做 key 的 服务 名 
字 会 直接 采用 接口 的 全 名 ， 也 就 是 说 在 实践 中 更 多 的 是 采 
用 "org.vanadies.chapter4.Calculator 来 作为 要 查找 的 服务 名 称 ， 有 具体 到 
如 何 对 服务 命名 、 服 务 的 粒度 如 何 ， 台 需要 读者 在 目 己 的 实践 当中 来 
确定 了 。 笔 者 习惯 于 使 用 “完整 的 类 名 + 版 本 号 ”作为 定位 服务 的 key 。 


从 名 称 服 务 返 回 可 用 的 服务 列表 后 ， 会 通过 chooseTargetj 乱 择 这 次 调用 
的 具体 目标 ， 也 就 是 在 这 个 过 程 中 完成 了 负载 均衡 的 工作 。 


在 第 1 章 讲 控制 器 时 ， 还 提 到 了 规则 服务 器 的 方式 ， 这 种 方式 和 名 称 服 
务 的 方式 很 类 似 ， 只 是 特性 略 有 不 同 ， 一 般 规则 服务 右 的 方式 更 多 地 
运用 在 有 状态 的 场景 。 像 数据 这 种 状态 要 求 很 高 的 场景 ， 或 者 级 存 这 
种 尽量 要 有 状态 的 场景 ， 都 会 用 到 规则 服务 絮 的 方式 来 解决 寻 址 的 问 
题 。 在 无 状态 的 服务 场景 中 ， 则 不 太 用 规则 服务 器 的 方式 来 处 理 。 


上 面 提 到 了 三 种 控制 方式 ， 笔 者 在 实践 中 主要 是 用 第 二 种 方式 ， 也 就 
是 在 请 求 发 起 方 和 服务 提供 方 之 间 直 连 的 方式 ， 没 有 再 加 入 物理 设备 

(必要 的 网 络 设备 除外 ) 。 在 这 种 方式 下 ， 原 来 在 LVS 或 者 硬件 负载 
均衡 上 的 工作 被 分 摊 到 了 服务 框 如 和 名 称 服 务 两 个 地 方 来 完成 。 天 于 
和 
HD 。 


至 此 我 们 已 经 完成 了 对 寻 址 和 路 由 的 介绍 ， 接 下 来 的 事情 应 该 是 读者 
比较 熟悉 的 了 一 一 我 们 需要 构造 请 求 的 数据 包 ， 并 进行 通信 。 


构 千 请求 数 据 包 其 实 束 是 把 对 象 变 为 二 进 制 数 据 ， 也 就 是 常 说 的 序列 
化 (熟悉 COM 的 读者 应 该 知道 这 个 过 程 就 是 marshalling) ， 而 使 用 
Java 的 读者 都 知道 ，Java 本 号 的 序列 化 吏 可 以 把 对 象 转 为 二 进 制 数 
和 


接 痢 就 是 通信 本 身 。 我 们 可 以 通过 Socket 来 简单 地 做 一 个 实现 ， 把 Java 
序列 化 以 后 的 数据 发 送 过 去 。 

这 样 我 们 束 完 成 了 一 次 调用 的 发 起 。 请 求 数据 发 送 结束 后 ， 需 要 等 得 
远程 服务 的 执行 以 及 结果 的 返回 ， 收 到 结果 后 ， 我 们 可 以 对 数据 进行 
0 0 


4.2.2.3 ”实现 服务 端 
接 下 来 ， 我 们 需要 大 概 看 一 下 在 服务 实现 端 应 该 怎么 做 。 


public class EventHandlert{ 
public static class Requestt{ 
public Socket Socket， 
public String serviceName; 
public String serviceVersion; 
public String methodName; 


public Object[] args; 


public static void eventHandler(){ 
while(true) { 


byte [|] requestData = receiveRequest 


(); 


Request request = getRequest(requestData); 


Object service = getServiceByNameAndVersion 
(request.serviceName,request.serviceVersion); 


Object result = callService 
(service, request.methodName,request.args); 


byte [|] data = genResult (result); 


request .Socket .getOoutputStream( ) .write(data); 


上 面 的 代码 属于 伪 代 码 。 在 服务 喘 ， 我 们 必然 会 有 一 个 真正 实现 计算 
妖 功 能 的 类 ， 这 个 类 其 实 和 之 前 单机 单 进程 版 本 里 面 的 实现 是 一 样 
的 ， 这 里 惑 不 列 出 代码 了 “。 而 我 们 真正 关心 的 是 如 何 处 理 好 远程 过 来 
的 请 求 以 及 如 何 调用 这 个 具体 的 实现 类 (CalculatorImpl) 。 


对 于 服务 痢 ， 我 们 需要 在 局 动 后 丈 进 行 监 昕 ， 上 面 的 代码 没有 列 出 这 
个 部 分 的 初始 化 过 程 。 我 们 还 是 移 看 重点 。 


重点 在 于 我 们 需要 持续 地 接收 请 求 并 进行 处 理 ， 而 且 对 于 收 到 的 数据 
也 需要 一 个 反 序 列 化 的 过 程 以 得 到 对 象 本 身 。 而 从 Request 对 象 的 定义 
中 可 以 看 到 我 们 最 关心 的 儿 个 元 素 ， 包 括 服 务 的 名 称 、 服 务 的 版 本 
号 、 需 要 调用 的 方法 名 称 及 参数 ， 以 及 调用 的 连接 。 上 面 的 代码 以 
Socket 对 象 说 明 。 


当 我 们 拿 到 请 求 的 对 象 后， 需要 在 本 地 定位 具体 提供 的 服务 ， 也 残 是 
上 面 代 码 里 的 getServiceByNameAndVersion， 具 体 实现 上 ， 我 们 会 有 
一 个 服务 注册 表 ， 是 根据 名 称 和 版 本 号 对 服务 实例 进行 的 管理 。 关 于 
其 中 的 对 应 关系 ， 我 们 一 般 是 在 局 动 时 构建 初始 值 ， 并 且 提 供 运 行 时 
的 修改 ， 可 以 说 是 动态 发 布 了 服务 。 


在 得 到 具体 的 服务 实例 之 后 ， 接 下 来 主要 就 是 进行 服务 调用 了 ， 这 一 
般 是 通过 反射 的 方式 来 实现 ， 即 得 到 服务 实例 具体 方法 的 执行 结果 
后 ， 把 需要 返回 给 调用 方 的 结果 序列 化 为 二 进 制 数据 ， 并 且 通 过 网 络 
写 回 给 请 求 发 送 端 。 


至 此 ， 我 们 看 到 了 一 次 服务 请 求 、 处理、 结果 返回 的 过 程 。 当 然 ， 上 
面 给 出 的 代码 主要 是 希望 读者 能 够 理解 这 个 过 程 本 身 ， 而 不 是 为 了 展 
示 一 个 真实 服务 框架 的 代码 。 如 琳 读 者 能 够 按照 上 文 给 出 的 思路 把 具 
体 的 代码 完成 ， 那 么 可 以 说 一 个 目 己 的 服务 框架 束 算 搭建 好 了 。 


4.2.3 ”服务 调用 端的 设计 与 实现 


接 下 来 ， 我 们 详细 看 一 下 服务 调用 端 (也 称 为 客户 端的 具体 设计 与 
实现 。 先 来 整理 一 下 刚才 看 到 的 服务 请 求 过 程 中 服务 调用 的 工作 ， 如 


图 4-5 所 示 。 图 4-5 展 示 了 从 发 送 请 求 到 收 到 啊 应 的 过 程 中 ， 请 求 发 送 
端 所 经 过 的 主要 环节 。 接 下 来 我 们 对 每 个 环节 来 进行 具体 介绍 。 


得 到 结果 
返回 给 调用 方 


反 序 列 化 /协议 解析 


图 4-5 ”服务 调用 地 


具体 工作 


4.2.3.1 ”人 确定 服务 框架 的 使 用 方式 
我 们 的 第 一 个 问题 是 如 何在 客户 端 引 入 和 使 用 服务 框架 。 


从 前 面 的 章节 我 们 看 到 ， 进 行 远程 服务 调用 时 ， 可 以 采用 中 间 放 置 代 
理 服务 器 的 方式 ， 也 可 以 通过 正在 介绍 的 直 连 的 方式 。 要 进行 远程 调 
用 ， 驶 要 求 在 调用 端 有 一 个 客户 端的 程序 来 完成 相关 工作 。 笔 者 在 刚 
开始 进行 服务 化 时 ， 需 要 同时 把 两 个 重要 的 业务 变 成 远程 服务 ， 当 时 
做 得 比较 土 : 两 个 服务 都 有 目 己 的 客户 端 ， 并 且 采 用 的 通信 方式 、 协 
议 、 实 现 都 不 同一 一 这 在 当时 没有 什么 问题 (当时 其 中 一 个 系统 是 在 
做 通用 的 方案 ， 不 过 由 于 两 个 系统 的 改造 同时 进行 ， 所 有 最 后 出 来 了 
两 种 实现 ) ， 不 过 不 是 一 个 统一 实现 就 相当 于 每 个 系统 都 要 目 己 实现 
ny 
原因 。 


1. 从 代码 角度 看 如 何 使 用 服务 框架 


客户 站 的 引入 或 者 说 应 用 程序 对 于 客户 端的 使 用 束 是 我 们 首 允 需要 解 
决 的 问题 。 大 多 数 使 用 Java 来 进行 开发 的 系统 都 会 用 Spring 来 作为 组 件 


考 


的 容 右 ， 开 发 人 员 也 都 熟悉 Spring 的 配置 ， 所 以 通过 Spring 的 方式 引入 
是 一 个 常见 的 方式 。 而 作为 服务 框架 ， 在 请 求 发 起 端 会 提供 通用 的 
Bean， 如 同 下 面 的 例子 。 


假设 我 们 有 一 个 计算 器 的 服务 ， 名 字 是 org.vanadies.CalculatorImp1， 那 
么 在 Spring 中 ， 我 们 通常 这 样 进行 配置 : 


<bean id = "calculator"class = "org.vanadies.CalculatorIimpl 
Us 


</bean> 
这 是 关于 一 个 Spring Bean 的 最 简单 的 配置 ， 那么 通过 Spring 引入 服务 


框架 进行 远程 调用 的 配置 该 怎么 做 呢 ? 下 面 给 出 一 个 参考 (实际 情况 
会 因 做 服务 框架 时 所 选择 的 实现 方式 而 不 同 ) : 


<bean id = "calculator"class = "org.vanadies.ServiceFramewo 
rk.ConsumerBean"> 


<property name = "interfaceName"> 
<value>org.vanadies.Calculator</value> 

</property> 

<property name = "version"> 
<value>1.0.0</value> 

</property> 

<property name = "group"> 
<value>Test</value> 

</property> 


</bean> 


上 面 代码 给 出 了 一 个 人 简单 版 本 的 服务 框架 的 配置 ， 通 过 配置 可 以 看 
到 ， 我 们 实现 了 一 个 ConsumerBean， 它 是 一 个 通用 的 对 象 ， 是 完成 本 
地 和 远程 服务 的 桥梁 。 而 且 ， 因 为 Java 有 动态 代理 的 支持 ， 所 以 我 们 
在 完成 远程 调用 时 ， 使 用 一 个 通用 的 对 象 就 可 以 解决 问题 了 ， 而 不 需 
要 像 很 多 语言 那样 ， 需 要 通过 类 似 IDL (Interface Description 
Language， 接 口 描述 语言 ) 的 方式 定义 ， 然 后 生成 代理 存根 代码 ， 再 
分 别 与 调用 端 和 被 调用 端 一 起 编译 。 我 们 接着 看 一 下 配置 的 属性 ， 对 
于 一 个 具体 的 服务 框架 的 实现 ， 从 落地 到 完善 的 过 程 中 会 有 很 多 控制 
点 ， 这 些 控制 点 可 以 作为 属性 来 配置 ， 也 可 以 通过 一 些 方式 集中 管 
理 ， 这 是 后 话 。 我 们 先 看 三 个 相对 基础 的 属性 。 


e。 jnterfaceName 


接口 名 称 ， 通 过 名 字 可 以 知道 这 个 属性 设置 的 驶 是 接口 的 名 
字 。 我 们 知道 在 面向 对 象 的 开发 中 都 是 通过 接口 (也 包括 对 
象 ) 来 调用 相应 的 方法 的 ， 那 么 ， 在 进行 远程 通信 时 
ConsumerBean 必 须知 道 被 调用 的 接口 是 哪 一 个 ， 然 后 才能 生 
2 口 的 代理 ， 以 供 本 地 调用 ， 所 以 这 是 一 个 必 备 的 
Ea O 


e。 Version 


版 本 号 。 设 置 了 接口 名 称 就 具备 了 可 以 进行 远程 调用 的 最 基 
础 属性 ， 不 过 在 实际 的 场景 中 ， 接 口 古 存在 变化 的 可 能 性 
的 ， 有 的 是 因为 实现 代码 本 身 重 构 的 原因 ， 也 有 的 是 因为 业 
务 的 发 展 变化 需要 修改 接口 中 已 有 方法 的 参数 或 者 返回 值 ， 
以 满足 新 的 要 求 。 如 条 直 接 这 样 变 化 ， 那 惑 要 求 所 有 使 用 的 
地 方 一 起 修改 ， 一 起 升级 ， 这 在 一 个 大 型 的 分 布 式 系统 (网 
站 ) 中 代价 是 非常 高 的 。 解 决 这 个 问题 的 方式 有 两 种 ， 一 是 
如 有 果 需 要 修改 方法 的 参数 或 返回 值 ， 我 们 就 新 增 一 个 方法 ， 
始终 保持 已 有 方法 不 变 ， 不 过 这 样 的 做 法 ,会 在 过 渡 期 间 
(新 旧 方 法 都 有 人 用 时 ) 导致 代码 相对 胱 肿 ， 并 且 新 方法 其 
实 是 不 好 起 名 字 的 ， 男 一 种 方案 号 古 通过 版 本 号 进行 区 分 隔 
离 ， 我 们 这 里 的 版 本 号 属性 就 古 用 来 解决 这 个 问题 的 。 


。 group 


分 组 。 在 这 里 讲 这 个 属性 可 能 稍微 有 点 靠 前 ， 不 过 后 面 还 会 
再 进行 较 详 细 的 解释 。 在 这 里 讲 分 组 属性 的 好 处 是 ， 如 果 对 
同一 个 接口 的 远程 服务 有 很 多 机 器 ， 我 们 可 以 把 这 些 远程 服 
务 的 机 器 归 组 ， 然 后 调用 者 可 以 选择 不 同 的 分 组 来 调用 ， 这 
样 束 可 以 将 不 同调 用 者 对 于 同一 服务 的 调用 进行 阳 离 了 。 


前 面 列 出 的 这 三 个 属性 是 笔者 根据 目 己 做 服务 框架 的 经 验 选 出 来 的 比 
较 基础 的 三 个 。 在 实际 中 ， 根 据 具体 的 需求 ， 我 们 可 能 需要 控制 远程 
调用 的 超时 ， 可 能 需要 选择 不 同 的 调用 方式 (这 在 后 面 会 讲 到 ) ， 可 
能 需要 对 不 同方 法 进行 不 同 的 控制 等 。 


2. 运行 期 服务 框架 与 应 用 和 容器 的 关系 


通过 上 面 的 例子 我 们 可 以 看 到 ， 服 务 框架 的 接 入 也 殉 涉 及 了 比较 种 规 
的 Spring 的 方式 ， 当 然 ， 你 也 可 以 通过 代码 的 方式 来 实现 。 这 看 起 来 
很 侧 单 ， 不 过 在 实际 中 有 两 个 很 重要 的 问题 需要 解决 ， 一 是 服务 框架 
目 身 的 部 署 方式 问题 ， 二 是 实现 目 己 的 服务 框架 所 依赖 的 一 些 外 部 jar 
包 与 应 用 自身 依赖 的 jar 包 之 间 的 冲突 问题 。 


先 来 看 第 一 个 问题 ， 服 务 框架 目 喘 的 部 署 方 式 问 题 。 一 种 方案 是 把 服 
务 框架 作为 应 用 的 一 个 依赖 包 并 与 应 用 一 起 打包 。 通 过 这 种 方式 ， 服 
务 框 染 束 变 为 了 应 用 的 一 个 库 ， 并 随 应 用 局 动 。 存 在 的 问题 是 ， 如 末 
要 升级 服务 框 染 ， 束 需要 更 狐 应 用 本 映 ， 因 为 服务 框架 古 与 应 用 打包 
放 在 一 起 的 ， 并 且 服 务 框架 没有 办 法 接管 classloader， 也 束 不 能 做 一 些 
隔离 以 及 包 的 实现 蔡 换 工作 。 


男 外 一 种 方案 是 把 服务 框 染 作 为 容 絮 的 一 部 分 ， 这 里 是 针对 Web 应 用 
来 说 的 ， 而 Web 应 用 一 般 用 JBoss、Tomcat、Jetty 等 作为 容器 ， 我 们 就 
要 遵循 不 同 容 絮 所 支持 的 方法 ， 把 服务 框架 作为 容 颖 的 一 部 分 。 例 
如 ， 针 对 JBoss， 我 们 可 以 通过 MBean 实 现 服 务 框架 的 启动 ， 将 其 部 署 
为 一 个 sar 包 来 为 应 用 提供 服务 。 然 而 有 的 情况 下 应 用 不 需要 容器 (不 
是 Web 应 用 ， 或 者 不 使 用 现 有 容器 ) ， 那 么 ， 服 务 框架 自身 束 需 要 变 
为 一 个 容器 来 提供 远程 调用 和 远程 服务 的 功能 。 


通过 图 4-6 至 图 4-8， 我 们 能 够 比较 好 地 看 到 服务 框架 与 应 用 容器 及 应 
用 的 关系 。 图 4-6 所 示 古 服务 框 染 作 为 Web 应 用 的 一 个 依赖 包 的 情况 ; 
图 4-7 所 示 是 服务 框架 作为 Web 容 右 的 扩展 而 存在 的 情况 ， 也 可 以 看 到 


它 与 Web 应 用 的 关系; 图 4-8 所 示 是 不 使 用 Web 容 器 ， 把 服务 框架 作为 
容器 来 部 署 应 用 的 情况 。 


Web 雁 器 


图 4-6 ”服务 框架 作为 Web 应 用 的 扩展 


Web 套 器 


图 4-7 服务 框架 是 Web 容 器 的 一 部 分 


图 4-8 ”服务 框架 本 身 作为 容器 
接着 我 们 来 看 一 下 Jar 包 冲突 的 问题 。 


使 用 Java 的 读者 都 知道 ， 通 过 Java 做 一 个 应 用 时 ， 一 般 都 会 用 到 多 个 
jar 包 ， 这 些 jar 包 可 能 是 别人 〈 第 三 方 ， 一 般 是 写 公 共 的 库 ) 提供 的 ， 
也 可 能 是 我 们 自己 做 的 ， 而 这 些 jar 包 本 身 可 能 又 会 用 到 (依赖 ) 另 一 
些 jar 包 。 那 么 ， 最 终 可 能 产生 这 样 的 情况 : 这 些 直 接 、 间 接 依 赖 的 jar 
包 导 致 应 用 里 面 同 一 个 jar 包 有 不 同 的 版 本 ， 例 如 打印 日 志 使 用 log4j ， 
可 能 就 有 1.1.14 和 1.2.9 两 个 版 本 ， 这 样 就 会 产生 冲突 。 


ClassLoader 是 Java 中 一 项 非常 天 键 的 搁 术 ， 它 的 结构 如 图 4-9 所 示 。 我 
们 看 到 用 户 自 定义 (User-Defined Class Loader) Class Loader 的 部 分 有 
多 个 ， 并 有 旦 是 有 机 会 进行 隔离 的 ， 而 我 们 采用 的 也 是 类 似 的 方式 : 将 
服务 框架 目 身 用 的 类 与 应 用 用 到 的 类 都 控制 在 User-Defined Class 
Loader 级 别 ， 这 样 承 实现 了 相互 间 的 隅 离 。Web 容 器 对 于 多 个 Web 应 用 
的 处 理 ， 以 及 OSGi 对 于 不 同 Bundle 的 处 理 都 采用 了 类 似 的 方法 。 


SJAVA_HOME/jre/lib/rt.jar 


Bootstrap 
Class Loader 
Extension 
Class Loader 
System 
Class Loader 
User-Defined 
Class Loader 


SJAVA_ HOME/jre/lib/ext/rt.jar 


SCLASSPATH 


User-Defined 
Class Loader 


User-Defined 
Class Loader 


图 4-9 ”ClassLoader 结 构 
此 外 ， 我 们 在 实际 中 还 会 遇 到 需要 在 运行 时 统一 版 本 的 情况 ， 那 惑 需 


要 服务 框架 比 应 用 优先 启动， 并 且 把 一 些 需 要 统一 的 jar 包 放 人 到 User- 
Defined Class Loader 所 公用 的 “祖先 ”ClassLoader 中 。 


4.2.3.2 ”服务 调用 者 与 服务 提供 者 之 间 通 信 方 式 
的 选择 


到 这 里 ， 我 们 大 体 介绍 了 服务 框 染 与 应 用 之 间 的 集成 和 关系 ， 以 及 引 
入 服务 框架 的 方式 上 需要 注意 的 问题 ， 并 且 也 看 到 了 服务 框架 的 使 用 
方式 。 应 该 说 使 用 起 来 还 是 非常 容易 的 ， 这 也 是 服务 框 染 的 目标 之 
一 ， 即 尽量 把 远程 服务 的 使 用 做 得 和 本 地 服务 类 似 ， 当 然 没 有 办 法 一 
模 一 样 ， 因 为 远程 服务 需要 一 些 额 外 的 属性 配置 ， 此 外 ， 考 虑 到 网 络 
及 远程 服务 器 的 问题 ， 在 调用 方法 的 异常 处 理 上 也 有 所 不 同 。 这 些 都 
古 很 细 市 的 问题 ， 就 留 给 读者 思考 或 在 具体 实现 的 过 程 中 去 应 对 了 。 


在 具体 的 调用 发 起 时 其 实 是 调用 了 ConsumerBean 为 具体 接口 产生 的 一 
个 动态 代理 对 象 。 该 动态 代理 对 象 被 调用 后 会 进行 如 同 服务 请 求 方 的 
(图 4-5 中 所 示 的 ) 处 理 ， 要 完成 寻 址 等 工作 。 


那么 ， 我 们 接 下 来 号 看 一 下 寻 址 路 由 相关 的 处 理 。 


我 们 使 用 服务 框架 是 为 了 把 本 地 对 象 之 间 的 方法 调用 变 为 远程 的 过 程 
调用 (RPC，Remote Procedure Call) ， 这 就 涉及 了 远程 通信 的 问题 。 
相信 很 多 学 习 计 算 机 的 读者 在 学 会 了 基础 的 代码 编写 后 ， 都 对 网 络 通 
信 的 开发 很 感 兴趣 ， 笔 者 也 是 这 样 的 。 


1. 远程 通信 过 到 的 问题 


图 4-10 所 示 的 问题 是 大 家 在 做 网 络 编程 时 需要 解决 的 第 一 个 问题 ， 丈 
征 两 台 机 融 之 间 怎 样 通信 的 问题 。 很 多 人 都 写 过 类 似 远 程 Echo 的 例子 
或 者 十 两 台 机 器 进行 文本 对 话 的 例子 ， 但 在 图 4-10 所 示 的 两 台 机 器 连 
接 的 情况 下 ， 一 般 都 钙 写 死 在 程序 中 或 者 是 输入 了 一 个 IP 地 址 和 端口 
号 ， 这 就 古 最 初 的 路 由 寻 址 的 过 程 。 


服务 提供 者 


图 4-10 ”调用 者 与 服务 提供 者 通信 问题 


而 在 实际 当中 ， 提 供 某 种 服务 的 机 颖 一 定 是 多 台 的 ， 是 一 个 集群 ， 而 
ee 因此 需要 解决 的 是 图 4-11 所 示 的 问题 ， 
0 o 


服务 提供 者 


图 4-11 调用 者 集群 与 服务 提供 者 集群 通信 问题 
2. 采用 透明 代理 与 调用 者 、 服 务 提供 者 直 连 的 解决 方案 


在 前 面 ， 我 们 提 到 了 有 两 种 方式 进行 远程 服务 调用 ， 第 一 种 是 通过 中 
间 的 代理 来 解决 ， 结 构 如 图 4-12 所 示 。 


调用 者 Ei i / 服务 提供 者 


从 服务 提供 者 


A 


图 4-12 采用 透明 代理 


这 和 第 1 草 介绍 的 控制 右 的 结构 十 一 样 的 ， 它 也 是 控制 絮 在 服务 框架 中 
的 一 个 应 用 场景 。 而 我 们 这 里 的 服务 框架 的 设计 采用 的 是 男 一 种 控制 
方案 ， 如 图 4-13 所 示 。 


图 4-13 ”调用 者 与 服务 提供 者 直 连 


图 4-13 展 示 了 服务 框架 在 系统 中 的 位 置 ， 可 以 看 到 集群 到 集群 间 的 远 
程 调用 中 并 没有 在 调用 链 路 中 放置 一 个 物理 的 代理 机 絮 ， 而 是 采用 了 
调用 者 和 提供 者 直接 建立 连接 的 方式 ， 并 且 引 入 了 一 个 服务 注册 查找 
中 心 的 服务 。 我 们 在 这 里 先 不 过 多 讨论 具体 通信 的 部 分 ， 和 暂且 把 服务 
注册 查找 中 心 当成 一 个 黑 盒 子 ， 先 来 重点 看 一 下 寻 址 和 路 由 。 


通过 图 4-13 我 们 看 到 服务 注册 查找 中 心 并 不 处 在 调用 者 和 服务 提供 者 
之 间 ， 服 务 注册 查找 中 心 对 于 调用 者 来 说 ， 只 是 提供 可 用 的 服务 提供 
者 的 列表 ， 这 有 点 像 日 常生 活 中 类 似 114 的 查 号 服务 。 不 过 出 于 效率 的 
考虑 ， 我 们 并 不 是 在 每 次 调用 远程 服务 前 都 通过 这 个 服务 注册 碍 找 中 
心 来 查找 可 用 地 址 ， 而 是 把 地 址 缓存 在 调用 者 本 地 ， 当 有 变化 时 主动 
从 服务 注册 查找 中 心 发 起 通知 ， 告 诉 调用 者 可 用 的 服务 提供 者 列表 的 


fs 


当 客 户 端 拿 到 可 用 的 服务 提供 者 的 地 址 列表 后 ， 如 何 为 当 次 的 调用 进 
行 克 择 束 是 路 由 要 解决 的 问题 了 。 我 们 在 这 里 首先 要 考虑 的 束 古 集群 
的 负载 均衡 。 具 体 到 负载 均衡 的 实现 上 ， 随 机 、 轮 询 、 权 重症 比较 利 


见 的 实现 方式 ， 其 中 权重 方式 一 般 是 指 动态 权重 的 方式 ， 可 以 根据 啊 
应 时 间 等 参数 来 进行 计算 。 在 服务 提供 者 的 机 器 能 力 对 等 的 情况 下 ， 
采用 随机 和 轮 询 这 两 种 方式 比较 容易 实现 ; 在 被 调用 的 服务 集群 的 机 
刁 能 力 不 对 等 的 情况 下 ， 使 用 权重 计算 的 方式 来 进行 路 由 比较 合适 。 
天 于 具体 的 负载 均衡 的 策略 ， 可 以 参考 人 硬件 负载 均衡 设备 以 及 LVS、 
HAProxy 等 替代 硬件 负载 均衡 设备 的 系统 所 文 持 的 策略 ， 不 过 需要 注 
意 的 是 ， 因 为 服务 框架 设计 的 结构 不 同 ， 所 以 不 是 所 有 便 件 负载 均衡 
文 持 的 策略 都 适用 于 我 们 这 个 方案 。 


4.2.3.3 引入 基于 接口 、 方 法 、 参 数 的 路 由 


介绍 完 基础 的 寻 址 和 路 由 ， 我 们 再 来 深入 研究 一 下 基于 接口 、 方 法 、 
参数 的 路 由 。 在 实际 的 场景 中 ， 一 般 会 用 接口 作为 服务 的 粒度 ， 也 束 
征 说 一 个 服务 束 是 指 一 个 接口 的 远程 实现 ， 当 然 某 个 接口 所 承载 的 职 
责 需 要 根据 具体 的 业务 和 系统 来 决定 。 一 般 情 况 下 ， 在 一 个 集群 中 会 
提供 多 个 服务 ， 而 每 个 服务 又 有 多 个 方法 ， 因 此 除了 前 面 介 绍 的 基础 
的 负载 均衡 策略 外 ， 我 们 还 有 更 加 细 粒 度 地 控制 服务 路 由 的 需求 。 


我 们 先 通 过 图 4-14 来 看 一 下 具体 结构 。 


图 4-14 ”调用 者 与 服务 提供 者 


我 们 看 到 两 组 调用 者 集群 (调用 者 1 和 调用 者 2) 都 依赖 于 服务 提供 者 
所 提供 的 服务 ， 这 个 服务 提供 者 有 两 个 服务 一 一 接口 A 和 接口 8B， 每 个 


服务 又 分 别提 供 了 两 个 方法 。 从 功能 上 来 说 ， 这 个 结构 已 经 没有 什么 
问题 了 ， 我 们 下 面 看 一 个 实际 的 场景 。 


在 我 们 的 实现 中 ， 服 务 提供 者 在 执行 调用 者 的 请 求 时 ， 内 部 的 线程 模 
型 是 一 个 线程 对 应 一 个 请 求 ， 而 总 的 线程 数量 有 一 个 限制 (一 般 采 用 
线程 池 来 管理 所 有 的 工作 线程 ) 。 当 系统 运行 时 ， 如 果 并 发 请 求 量 比 
较 大 ， 可 能 所 有 工作 线程 已 经 全 部 在 工作 了 ， 如 采 这 时 又 有 新 的 请 求 
进来 忠 需 要 排队 ， 当 然 ， 这些 都 是 非常 正常 的 逻辑 。 但 是 如 末 这 个 服 
务 提供 者 的 某 个 方法 是 一 个 很 慢 的 方法 ， 会 出 现 什 么 情况 呢 ? 


假设 图 4-14 中 接口 A 的 方法 1 是 一 个 比较 慢 的 方法 ( 即 执行 时 间 明 显 长 
于 其 他 方法 的 执行 时 间 ， 例 如 其 他 方法 的 执行 时 间 在 50ms 左 右 ， 而 这 
个 方法 需要 5 秒 左右 ) ， 而 调用 者 对 这 两 个 接口 的 所 有 方法 调用 的 频率 
相关 不 多 ， 那 孢 有 可 能 出 现 所 有 线程 都 被 这 个 接口 A 的 方法 1 所 占用 的 
情况 。 从 图 4-15 中 能 够 更 清楚 地 看 到 这 个 过 程 。 


在 图 4-15 中 ，IA 表 示 接 口 A，IB 表 示 接 口 B，m1l 表 示 方 法 1，m2 表 示 方 
法 2， 为 了 能 够 让 读者 看 得 更 清楚 ， 我 们 给 每 次 请 求 加 了 一 个 编号 ， 编 
号 是 针对 同一 个 接口 的 同一 个 方法 的 ， 例 如 IA.m1_1 表 示 在 这 个 服务 
提供 者 机 器 上 IA 接 口 的 ml 方法 的 第 一 次 调用 。 


IA.m1_1;IA.m2_1;1B.m1_1;1B.m2_1;1IA.m1_2;IA.m2_2;1B.m1_2;IB.m2_2;……. 


图 4-15 ”服务 的 方法 被 调用 的 具体 场景 


假设 服务 提供 者 的 系统 上 有 5 个 工作 线程 ， 并 且 到 这 个 服务 提供 者 机 器 
上 的 请 求 是 按照 图 4-15 所 示 的 顺序 进来 的 (就 是 按照 
IA.m1 IA.m2 IB.m1 一 IB.m2 的 顺序 ) ， 从 图 中 我 们 可 以 很 直观 地 看 
出 来 ， 因 为 IA.m1 方 法 的 执行 时 间 非 常 长 ， 所 以 我 们 的 线程 很 快 就 都 
陷入 了 执行 IA.ml 方 法 的 状态 ， 之 后 再 进来 的 请 求 就 都 需要 排队 等 
待 ， 而 且 等 待 的 时 间 是 非常 长 的 。 该 怎么 办 呢 ? 


从 图 4-15 中 可 以 看 出 来 ， 之 所 以 等 竺 是 因为 我 们 的 线程 不 够 多 了 ， 那 
么 我 们 可 以 增加 线程 数 ， 不 过 单机 可 以 设置 的 线程 数 总 是 有 限 的 ， 因 
此 可 以 考虑 增加 机 器 数 ， 这 样 可 以 减少 分 到 每 个 机 器 上 的 请 求 数 。 这 
种 思路 惑 是 增加 可 执行 的 线程 总 数 来 保证 在 实际 运行 的 过 程 中 总 是 有 
可 用 线程 提供 服务 ， 但 是 这 种 思路 不 太 经 济 也 不 太 可 探 。 实 际 中 计算 
需要 的 线程 总 数 是 很 困难 的 事情 ， 从 系统 可 用 性 和 经 济 性 的 角度 考虑 
的 话 ， 控 制 这 些 慢 的 方法 对 正 稼 情况 的 影响 是 比较 合理 的 思路 。 第 一 
种 思路 是 增加 资源 保证 系统 的 能 力 古 超出 需要 的 ， 第 二 种 思路 是 隔离 
这 些 资 源 ， 从 而 使 得 快慢 不 同 、 重 要 级 别 不 同 的 方法 之 间 互 不 影响 。 


从 客户 端的 角度 来 说 ， 控 制 同一 个 集群 中 不 同 服务 的 路 由 并 进行 请 求 
的 隔离 是 一 种 可 行 方案 。 也 就 是 说 ， 虽 然 集群 中 每 台 机 器 部 署 的 代码 
是 一 样 的 ， 提 供 的 服务 也 是 一 样 的 ， 但 是 通过 路 由 的 策略 ， 我 们 让 其 
中 对 于 某 些 服务 的 请 求 到 一 部 分 机 器 ， 让 另 一 些 服务 的 请 求 到 另 一 部 
分 机 器 ， 则 看 起 来 是 图 4-16 所 示 的 结构 。 


服务 提供 者 


图 4-16 ”基于 接口 的 请 求 路 由 


在 多 4-16 中 ， 我 们 采用 的 方案 是 通过 客户 端的 路 由 把 调用 服务 A 的 请 
求 送 到 图 中 右上 方 的 集群 ， 把 调用 服务 B 的 请 求 送 到 图 中 右 下 方 的 集 
群 。 而 这 两 个 集群 的 代码 其 实 征 完全 一 样 的， 是 客户 端的 路 由 导致 了 
请 求 的 分 流 。 在 具体 实现 上 ， 我 们 一 般 采 用 的 方式 是 把 路 由 规则 进行 
集中 管理 〈 后 面 的 章节 会 介绍 规则 集中 管理 的 服务 ) ， 在 具体 调用 者 
端的 服务 框 采 上 获取 规则 后 进行 路 由 的 处 理 ， 具 体 来 说 是 根据 服务 定 
位 提供 服务 的 那个 集群 的 地 址 ， 然 后 与 接口 路 由 规则 中 的 地 址 一 起 取 
交集 ， 得 到 的 地 址 列表 再 进行 接 下 来 的 负载 均衡 算法 ， 最 终 得 到 一 个 
可 用 的 地 址 去 进行 调用 。 


讲 到 这 里 ， 读 者 会 发 现 ， 基 于 接口 的 路 由 并 没有 解决 接口 A 的 方法 1 太 
慢 所 市 来 的 问题 ， 如 果 按 照 上 面 例子 的 假设 ， 基 于 接口 路 由 保证 了 接 
口 B 的 方法 1 和 方法 2 的 调用 不 会 受到 接口 A 的 方法 1 的 影响 ， 而 接口 A 
的 方法 2 还 古 会 受到 接口 A 的 方法 1 的 影响。 要 解决 这 个 问题 ， 我 们 就 
需要 把 路 由 的 规则 做 得 更 加 细致 一 点 ， 可 以 基于 接口 的 具体 方法 来 进 
行路 由 。 该 方式 的 原理 与 基于 接口 路 由 的 原理 是 一 样 的 ， 只 十 在 通过 
接口 定位 到 服务 地 址 列表 后 ， 根 据 接 口 加 方法 名 从 规则 中 得 到 一 个 服 


务 地 址 列表 ， 再 和 刚才 的 地 址 列表 取 交 和 集 。 支 持 方 法 的 路 由 整 可 以 解 
决 这 个 例子 中 的 问题 了 。 


沿 着 这 个 思路 继续 思考 ， 有 既然 可 以 基于 接口 、 方 法 进行 路 由 ， 那 么 还 
可 以 基于 参数 进行 路 由 。 基 于 参数 进行 路 由 的 实现 方式 和 上 面 的 方法 
类 似 ， 而 且 代 码 并 不 难 ， 但 在 具体 应 用 中 用 得 较 少 ， 因 为 一 般 到 基于 
方法 的 路 由 就 够 用 了 。 需 要 对 一 些 特定 参数 进行 特殊 处 理 (例如 针对 
不 同 用 户 的 特别 处 理 等 ) 的 情况 才 会 使 用 基于 参数 的 路 由 。 


4.2.3.4 “多 机 房 场 景 

每 个 机 房 都 有 自己 的 容量 上 限 ， 如 果 网 站 的 规模 非常 大 ， 那 就 需要 多 
个 机 房 了 。 机 房 之 间 的 距离 和 分 工 决定 了 我 们 应 该 采用 什么 样 的 架构 
和 策略 ”在 这 一 小 节 中 ， 我 们 主要 讲 距离 比较 近 的 同城 机 房 的 情况 
(远程 的 异地 机 房 情况 非常 复杂 ， 由 于 篇 幅 原 因 就 不 在 此 介绍 了 ) 。 


我 们 回忆 一 下 4.2.3.2 节 中 的 一 张 结构 图 ， 如 图 4-17 所 示 。 


图 4-17 ”调用 者 与 服务 提供 者 直 连 
图 4-17 中 只 表述 了 调用 着、 服务 提供 首 和 服务 注册 查找 中 心 之 间 的 天 


系 ， 没 有 显示 机 房 的 观念 。 如 采 我 们 在 同城 距离 不 太 远 的 两 个 机 房 中 
部 车 应 用 和 服务 ， 会 是 什么 样 的 结构 呢 ? 如 图 4-18 所 示 。 


图 4-18” 双 机 房 示例 


我 们 先 不 考虑 服务 注册 查找 中 心 的 集群 化 处 理 ， 先 来 重点 看 一 下 调用 
者 和 服务 提供 者 在 多 机 房 的 情况 。 到 现在 为 止 ， 如 采 不 做 任何 处 理 ， 
服务 注册 碍 找 中 心 会 把 服务 提供 者 1 的 所 有 机 需 看 做 是 一 个 集群 ， 尽 管 
它们 分 布 在 两 个 机 房 。 这 样 ， 分 布 在 两 个 机 房 的 调用 者 1 束 会 对 等 地 看 
竺 分布 在 不 同 机 房 的 服务 提供 者 1 的 机 化。 同城 机 房 之 间 一 般 都 采用 光 
纤 直 接连 接 ， 珊 宽 足 够 大 ， 延 迟 也 可 以 接受 ， 但 是 ， 如 有 果 能 够 避免 跨 
机 房 调用 ， 束 能 提升 系统 稳定 性 ， 把 机 房间 的 读 宽 用 于 必要 的 场景 ， 
将 会 是 一 个 更 好 的 实现 。 


有 两 种 方案 可 以 实现 这 个 想法 ， 一 征 在 服务 注册 碍 找 中 心 做 一 些 工 
作 ， 通 过 它 来 球 别 不 同 机 房 的 调用 者 集群 ， 给 它们 不 同 服务 提供 者 的 
地 址 。 男 一 种 方式 是 这 里 要 详细 介绍 的 ， 即 通过 路 由 来 完成 ， 大 概 思 
路 是 ， 服 务 注册 查找 中 心 给 不 同 机 房 的 调用 者 相同 的 服务 提供 者 列 
表 ， 我 们 在 服务 框架 内 部 进行 地 址 过 滤 ， 过 滤 的 原则 (如 何 识 别 机 
房 ) 一 般 是 基于 接口 等 路 由 规则 进行 集中 配置 管理 。 在 具体 实践 中 ， 
一 方面 需要 考虑 两 个 甚至 多 个 机 房 的 部 署 能 力 是 否 对 等 ， 也 嗣 是 说 通 
过 路 由 使 服务 都 走 本 地 的 话 ， 负 载 是 否 均衡 。 此 外 还 有 一 个 异常 的 情 
况 需 要 考虑 ， 即 如 有 条 某 个 机 房 的 服务 提供 着 大 面积 不 可 用 ， 而 另外 机 
房 的 服务 提供 者 十 正常 运营 并 且 有 余 量 提供 服务 ， 那 么 应 该 如 何 让 服 
务 提供 者 大 面积 不 可 用 的 机 房 的 调用 者 调用 远程 的 服务 呢 ， 这 征 需 要 
面 对 和 人 解决 的 问题 。 


在 实际 中 ， 每 个 机 房 的 网 段 是 不 同 的 ， 这 可 以 帮助 我 们 区 分 不 同 的 机 
房 。 在 多 机 房 中 还 有 一 个 可 能 遇 到 的 问题 : 未 必 每 个 机 房 都 是 对 称 的 
( 指 既 有 服务 调用 者 又 有 相应 的 服务 提供 者 ) ， 尤 其 在 机 房 很 多 时 ， 
这 个 问题 会 更 加 明显 。 这 时 ， 我 们 可 以 考虑 采用 虚拟 机 房 的 概念 ， 也 
束 是 不 以 物理 机 房 为 单位 来 做 路 由 ， 而 是 把 物理 上 的 多 个 机 房 看 做 一 
个 逻辑 机 房 来 处 理 路 由 规则 ， 当 然 ， 也 有 可 能 是 把 一 个 物理 机 房 拆 成 
多 个 逻辑 机 房 ， 具 体 需要 根据 业务 和 应 用 的 特点 来 做 出 处 理 。 


4.2.3.5 ”服务 调用 端的 流 控 处 理 


在 具体 工程 实践 中 会 有 很 多 异常 的 情况 ， 因 此 在 处 理 完 正常 功能 后 ， 
还 有 很 多 为 了 应 对 异常 和 可 运 维 而 需要 做 的 事情 。 流 量 控制 (简称 尝 
控 ) 保证 系统 的 稳定 性 ， 我 们 这 里 说 的 流 控 是 加 载 到 调用 者 的 控制 功 
能 ， 是 为 了 控制 到 服务 提供 者 的 请 求 的 流量 。 

一 般 来 说 ， 我 们 有 两 种 方式 的 控制 ， 一 种 是 0-1 开 天， 也 就 十 说 完全 打 
开 不 进行 流 控 ， 男 一 种 是 设 定 一 个 固定 的 值 ， 表 示 每 秒 可 以 进行 的 请 
求 次 数 ， 超 过 这 个 请 求 数 的 话 就 拒绝 对 远程 的 请 求 了 。 那 些 被 流量 控 
制 拒绝 的 请 求 ， 可 以 直接 返回 给 调用 者 ， 也 可 以 进行 排队 。 
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。 根 据 服务 端 自身 的 接口 、 方 法 做 控制 ， 也 就 是 针对 不 同 的 接口 、 
方法 设置 不 同 的 靖 值 ， 这 是 为 了 使 服务 端的 不 同 接口 、 方 法 之 间 
的 负载 不 相互 影响 。 

。 根 据 来 源 做 控制 ， 也 就 是 对 于 同样 的 接口 、 方 法 ， 根 据 不 同 来 源 
设置 不 同 的 限制 ， 这 一 般 用 在 比较 基础 的 服务 上 ， 也 束 是 在 多 个 
站 
流 控 


4.2.3.6 ”序列 化 与 反 序列 化 处 理 
学 完了 路 由 和 流 控 就 意味 着 我 们 可 以 找到 要 调用 的 目标 机 器 了 。 我 们 


接着 看 一 下 协议 适 配 和 序列 化 的 问题 ， 也 就 是 说 我 们 要 把 调用 远程 服 
务 的 对 象 、 参 数 等 变 为 服务 提供 者 可 以 理解 、 传 输 的 数据 了 。 


先 来 看 看 序列 化 和 反 序 列 化 。 简 单 地 说 ， 序 列 化 就 是 把 内 存 对 象 变 为 
二 进 制 数 据 的 过 程 ， 而 反 序列 化 就 是 把 二 进 制 数 据 变 为 内 存 中 可 用 对 
象 的 过 程 。 服 务 框 染 要 把 本 地 进程 内 部 的 方法 调用 变 为 远程 的 方法 调 
用 ， 首 先 需 要 把 调用 所 需 的 信息 从 调用 端的 内 存 对 象 变 为 二 进 制 数 
据 ， 然 后 通过 网 络 传 到 远程 的 服务 提供 端 ， 再 在 服务 提供 病 反 序列 化 
数据 ， 得 到 调用 的 参数 后 进行 相关 调用 。 


常见 的 序列 化 和 反 序 列 化 的 方式 很 多 ， 对 于 Java 而 言 ，Java 本 身 就 提 
供 了 序列 化 和 反 序 列 化 的 方式 ， 并 且 使 用 起 来 非常 简单 。 这 里 有 用 点 
需要 注意 ， 一 是 Java 序 列 化 或 反 序列 化 时 自身 的 性 能 问题 以 及 跨 语言 
的 问题 。 如 果 在 整个 分 布 式 系统 中 的 调用 者 或 者 服务 提供 者 要 使 用 
Java 以 外 的 语言 来 实现 ， 那 么 序列 化 和 反 序列 化 的 方式 选择 上 就 要 支 
持 中 语言。 第 二 ， 序 列 化 和 反 序列 化 的 性 能 开销 ， 以 及 不 同方 式 的 性 
能 比较 也 是 需要 注意 的 一 个 点 "第 三 ， 还 需要 注意 序列 化 后 的 长 度 。 
也 就 是 说 我 们 需要 在 易 用 性 、 跨 语言 、 性 能 、 序 列 化 后 数据 长 度 等 广 
面 综合 进行 考量 。 


我 们 从 两 个 方面 来 看 协议 的 部 分 ， 一 个 是 用 于 通信 的 数据 报 文 的 目 定 
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还 是 以 之 前 计算 名 的 例子 为 例 ， 我 们 可 以 选择 通过 HTTP 协 议 来 完成 通 
言 过 程 的 处 理 ， 那 么 HTTP 协 议 就 古 我 们 选择 的 通信 协议 ， 而 在 服务 调 
用 中 的 具体 协议 ， 需 要 目 己 来 定义 ， 可 以 选择 XML 作为 序列 化 的 方 
式 。 我 们 可 以 这 样 定义 请 求 和 啊 应 的 格式 。 


请 求 格式 : 


<request> 
<service name = "xxx"method = "yyy"> 
<params> 
<param name = "zzz> 
</param> 


</params> 
</service> 


</request> 


啊 应 格式 : 


<response> 


<result> 


</result> 


</request> 


上 面 的 定义 中 选择 XML 作 为 了 序列 化 方式 (我 们 还 有 其 他 选择 ， 例 如 
json 或 者 一 些 二 进 制 的 表示 方式 ) 。 通 过 XML 定 义 的 格式 是 在 服务 层 
面 的 协议 ， 而 在 通信 和 层面， 我们 可 以 采用 HTTP 协 议 ， 当 然 也 可 以 通过 
目 定义 的 协议 来 完成 。 


这 个 例子 是 想 给 读者 展示 在 整个 远程 过 程 调 用 中 的 通信 协议 、 服 务 调 
用 协议 及 序列 化 方式 。 在 具体 实践 中 ， 通 信 协 议和 服务 调用 协议 的 扩 
展 性 、 加 后 兼容 性 是 需要 重点 考虑 的 。 因 为 在 实践 中 服务 会 越 来 越 
多 ， 调 用 者 也 会 越 来 越 多 ， 服 务 框 淋 在 升级 时 无 法 保证 在 同一 时 刻 把 
所 有 使 用 到 的 地 方 都 进行 升级 ， 所 以 ， 协 议 上 的 扩展 性 、 回 后 兼容 性 
显得 非常 重要 。 在 具体 制定 通信 协议 时 ， 版 本 号 、 可 扩展 属性 及 发 起 
方 文 持 能 力 的 介绍 很 重要 。 我 们 很 难保 证 我 们 协议 的 扩展 性 可 以 文 持 
未 来 所 有 的 情况 ， 所 以 显 式 地 标明 版 本 是 很 必要 的 做 法 ， 这 样 必 一 端 
可 以 根据 具体 版 本 号 来 进行 相应 的 处 理 。 可 扩展 的 属性 有 些 像 键 值 对 
的 定义 ， 它 能 方便 我 们 对 协议 的 扩展 ， 避 人 免 一 增加 属性 束 要 修改 版 本 
的 情况 。 表 明 目 身 服务 能 力 的 介绍 是 为 了 方便 接收 端 根 据 请 求 端 的 能 
力 来 进行 相应 的 处 理 ， 例 如 对 于 服务 调用 的 具体 返回 结 采 的 数据 来 
说 ， 如 琳 调 用 端 文 持 压缩 ， 那 么 整 可 以 返回 被 压缩 后 的 数据 ， 否 则 ， 


服务 端 束 一 定 不 能 对 结果 进行 压缩 ， 这 个 特点 有 点 类 似 HTTP 协 议 里 的 
Accept-Encoding ° 


4.2.3.7 ”网 络 通信 实现 选择 


介绍 到 这 里 ， 一 个 在 调用 端的 服务 请 求 已 经 到 了 网 络 通 信 这 一 层面 
了 。 我 们 在 第 1 章 的 网 络 通信 部 分 具体 介绍 过 相关 的 基础 概念 ， 这 里 介 
0 
通信 支持 。 


在 第 1 章 中 我 们 讲 过 的 通信 方式 有 BIO、NIO、AIO 的 模式 ， 其 中 BIO 采 
用 的 方式 是 阻塞 IO 的 方式 ， 一 个 连接 需要 请 耗 挥 一 个 线程 ， 这 种 方式 
的 开发 比较 简单 ， 但 是 消耗 比较 大 。 采 用 NIO 是 一 个 比较 好 的 选择 ， 
是 直接 采用 Java 的 NIO 还 是 采用 第 三 方 封装 好 的 组 件 ， 这 需要 实现 者 
目 己 来 选择 。 


我 们 采用 的 是 NIO 的 方式 ， 所 以 客户 姜 和 服务 妮 端 的 连接 是 可 以 复 用 
的 ， 而 不 是 每 一 个 请 求 独 占 一 个 连接 。BIO 与 NIO 的 对 比如 下 。 


图 4-19 展 示 的 古 使 用 BIO 的 方式 ， 在 调用 端 有 三 个 请 求 进来 ， 分 别 由 
三 个 线程 处 理 ， 每 个 线程 都 使 用 独立 的 连接 ， 在 远 端 的 提供 者 端 有 对 
应 的 三 个 线程 来 执行 相应 的 服务 。 这 种 方式 会 使 得 调用 着 和 提供 者 之 
间 建 立 大 量 的 连接 ， 而 且 是 阻塞 的 方式 ， 连 接 并 不 能 得 到 充分 利用 。 


图 4-19 BIO 方式 


我 们 希望 在 调用 者 和 提供 者 之 间 通 过 一 个 连接 来 进行 多 个 并 发 请 求 的 
通信 工作 。 这 束 好 比 公路 ， 每 条 公路 可 以 同时 供 多 辆 车 使 用 ， 而 不 是 


一 辆 。 通 过 NIO 方 式 可 以 实现 这 一 愿望 (如 图 4-20 所 示 ) 。 我 们 需要 
引入 IO 线程 来 专门 处 理 通信 功能 ， 因 为 使 用 的 是 非 阻 塞 方式 的 ID ， 而 
需要 对 外 提供 的 是 类 似 阻塞 的 同步 远程 请 求 的 方式 ， 因 此 需要 完成 异 
步 园 同 步 的 工作 ， 还 需要 处 理 调用 超时 的 情况 ， 也 需要 对 应 用 层 发 送 
的 数据 进行 流量 保护 。 


图 4-20 NIO 方 式 


图 4-21 是 通过 同步 方式 进行 远程 调用 时 使 用 NIO 的 示意 图 。 可 以 看 到 
这 个 方式 明显 比 BIO 方 式 复 杂 。 


请 求 线程 


数 据 ， \ 队 


SOCKET 
连接 


图 4-21 调用 端 采 用 NIO 的 示意 图 


从 图 4-21 中 可 以 看 到 我 们 增加 了 IO 线程 、 数 据 队 列 、 通 信 对 象 队列 和 
定时 任务 4 个 部 分 。IO 线 程 专门 负责 和 SOCKET 连 接 打 交道 ， 进 行 数据 
的 收发 。 需 要 发 送 的 数据 都 会 进入 数据 队列 ， 这 样 ， 每 个 请 求 线程 就 
不 需要 直接 和 SOCKET 连 接 打交道 了 ， 这 也 为 复 用 SOCKET 连 接 提 供 
了 可 能 。 数 据 队 列 的 长 度 是 需要 关注 的 方面 ， 因 为 它 可 能 会 造成 内 存 
的 洲 出 。 通 信 对 象 队 列 是 保存 了 多 个 线程 使 用 的 通信 对 象 ， 这 个 通信 
对 象 主要 是 为 了 阻塞 请 求 线程 ， 请 求 线程 把 数据 放 入 数据 队列 中 后 会 
生成 一 个 通信 对 象 ， 它 会 进入 通信 对 象 队 列 并 且 在 通信 对 象 队 列 上 等 
待 。 通 信 对 象 用 于 唤醒 请 求 线 程 。 如 果 在 远程 调用 超时 前 有 执行 结果 
返回 ， 那 么 IO 线程 就 会 通知 通信 对 象 ， 通 信 对 象 则 会 结束 请 求 线程 的 
等 待 ， 并 且 把 结果 传 给 请 求 线程 ， 以 进行 后 续 处 理 。 此 外 ， 我 们 也 有 
定时 任务 负责 检查 通信 对 象 队 列 中 的 哪些 通信 对 象 已 经 超时 了 ， 然 后 
这 些 通信 对 和 象 会 通知 请 求 线程 已 经 超时 的 事实 。 


4.2.3.8 ” 文 皖 多 种 异步 服务 调用 方式 


使 用 NIO 能 够 完成 连接 复 用 以 及 对 调用 者 的 同步 调用 的 文 持 ， 接 下 来 
我 们 再 来 详细 介绍 一 下 调用 方式 。 除 了 同步 调用 外 ， 我 们 还 需要 文 持 
如 下 的 几 种 调用 方式 。 


第 一 种 方式 是 Oneway。Oneway 是 一 种 只 管 发 送 请 求 而 不 天 心 结果 的 
方式 。 在 NIO 方 式 下 使 用 Oneway 的 话 ， 会 比 前 面 的 同步 调用 简单 很 
多 ， 如 图 4-22 所 示 。 


请 求 线程 


SOCKET 
连接 


图 4-22 ”Oneway 方 式 


可 以 看 到 Oneway 方 式 非 芝 简 单 ， 只 需要 把 要 发 送 的 数据 放 入 数据 队 
列 ， 然 后 就 可 以 继续 处 理 后 续 的 任务 了 ; 而 IO 线 程 也 只 需要 从 数据 队 
列 中 读 到 数据 ， 然 后 通过 SOCKET 连 接送 出 去 就 好 了 。Oneway 方 式 不 
关心 对 方 是 否 收 到 了 数据 ， 也 不 关心 对 方 收 到 数据 后 做 什么 或 有 什么 
返回 。 这 就 基本 等 价 于 一 个 不 人 证 可 靠 送 达 的 通知 。 


第 二 种 方式 是 Callback。 这 种 方式 下 请 求 方 发 送 请 求 后 会 继续 执行 目 
己 的 操作 ， 等 对 方 有 啊 应 时 进行 一 个 回调 ， 如 图 4-23 所 示 。 


请 求 线程 


数据 队列 


SOCKET 
连接 


图 4-23 ”Callback 方 式 


从 图 4-23 可 以 看 到 ， 请 求 者 设置 了 回调 对 象 ， 把 数据 写 入 数据 队列 后 
忠 继 续 上 自己 的 处 理 了 。 后 面 的 10 线程 的 通信 方式 与 之 前 看 到 的 相同 ， 
只 是 当 收 到 服务 提供 者 的 返回 后 ，IO 线 程 会 通知 回调 对 象 ， 这 时 就 执 
行 回调 的 方法 了 。 而 如 果 和 需要 支持 超时 ， 同 样 可 以 通过 定时 任务 的 方 
式 来 完成 ， 如 采 已 经 超时 却 没有 返回 ， 那 么 同样 需要 执行 回调 对 象 的 
方法 ， 只 是 要 告知 是 已 经 超时 没有 结果 。 这 里 需要 注意 的 一 点 是 ， 如 
林 我 们 不 再 引入 新 的 线程 ， 那 么 回调 的 执行 要 么 是 在 IO 线程 中 ， 要 人 么 
征 在 定时 任务 的 线程 中 了 ， 我 们 还 是 建议 用 新 的 线程 来 执行 回调 ， 而 


个 要 因为 回调 本 号 的 仆 码 执行 时 间 信 等 问题 影响 了 IO 线程 或 者 定时 任 
入 

第 三 种 方式 是 Future。 笔 者 认为 在 Java 中 Future 是 一 个 非常 便利 的 方 
式 。 我 们 还 是 先 看 一 下 图 4-24。 


请 求 线程 
生成 


数 据 2 W 了 


执行 处 理 
二 浊 


Future 
数据 队列 对 象 队列 


SOCKET 
连接 


图 4-24 ”Future 方 式 


使 用 Future 方 式 ， 同 样 是 先 把 Future 放 入 队列 ， 然 后 把 数据 放 入 队列 ， 
接着 束 在 线程 中 进行 处 理 ， 等 到 请 求 线程 的 其 他 工作 处 理 结束 后 ， 整 
通过 Future 来 获取 通信 结果 并 直接 控制 超时 。1IO 线 程 仍然 是 从 数据 队 
列 中 得 到 数据 后 再 进行 通信 ， 得 到 结果 后 会 把 它 传 给 Future。 


第 四 种 方式 是 可 靠 异 步 。 可 靠 异 步 要 你 证 异步 请 求 能 够 在 远程 局 执 
行 ， 一 般 旦 通过 消 思 中间 件 来 完成 这 个 保证 的 。 


到 这 里 我 们 介绍 了 四 种 津 见 的 异步 远程 通信 方式 ，Oneway 古 一 个 单 癌 
的 通知 ; Callback 则 是 回调 ， 是 一 种 很 被 动 的 方式 ，Callback 的 执行 不 
征 在 原 请 求 线程 中 ;， 而 Future 是 一 种 能 够 主动 控制 超时 、 获 取 结 果 的 
方式 ， 并 且 它 的 执行 仍然 在 原 请 求 线程 中 ， 可 靠 异 步 方式 能 保证 异步 
请 求 在 远程 被 执行 。 


4.2.3.9 ”使 用 Future 方 式 对 远程 服务 调用 的 优化 


学 习 完 同步 调用 、 异 步调 用 的 多 种 实现 ， 我 们 就 已 经 掌握 很 完善 的 通 
信 方 式 了 。 这 里 还 需要 向 大 家 介绍 一 个 实战 中 的 注意 点 。 


在 实际 的 工作 中 ， 会 出 现在 一 个 请 求 中 调用 多 个 远程 服务 的 情况 ， 如 
图 4-25 所 示 。 


请 求 处 理 


调用 服务 A 


调用 服务 B 


调用 服务 C 


(20ms) 


图 4-25 ” 调 


多 个 服务 的 处 理 场 景 


Ply 


在 图 4-25 中 ， 一 个 请 求 处 理 需 要 调用 三 个 远程 服务 (在 实际 中 一 般 会 
远 多 于 三 个 ) ， 各 个 服务 的 耗 时 已 经 在 图 中 标 出 来 了 。 另 外 在 请 求 者 
自己 的 线程 中 还 有 20ms 的 数据 处 理 时 间 。 那 么 ， 要 完成 上 图 中 的 一 次 
请 求 需要 100ms (实际 消耗 的 时 间 也 取决 于 总 线程 数 与 CPU 的 核 数 ， 
100ms 中 的 大 部 分 时 间 是 在 等 待 远程 结果 ，20ms 的 数据 处 理 是 消耗 纯 
CPU 时 间 的 ) 。 我 们 可 以 思考 一 下 华罗庚 的 《统筹 方法 》， 试 着 改变 
一 下 这 个 线程 的 处 理 方式 。 我 们 先 把 图 4-25 中 的 场景 更 详细 得 表示 出 
来 ， 如 图 4-26 所 示 。 


请 求 处 理 
请 求 调用 

调用 服务 A 服务 At15ms) 
结果 返回 
请 求 调用 

ms Se 结 琳 返回 
请 求 调用 

调用 服务 C 服务 C(40ms ) 
结果 返回 

【20ms) 


图 4-26 ”调用 多 个 服务 的 处 理 场景 的 详细 图 示 


我 们 思考 能 否 变 成 图 4-27 所 示 的 样子 ， 如 下 。 


请 求 处 理 


数据 处 理 
(‘20ms; 


图 4-27 多 个 服务 的 并 行 调用 


也 就 是 说 ， 我 们 仍然 是 按照 调用 顺序 把 服务 的 请 求 发 送 给 服务 A、 服 
务 B 和 服务 C， 与 前 面 不 同 的 是 ， 请 求 发 过 去 后 并 不 直接 等 待 执行 结 
果 ， 而 是 直到 服务 C 的 请 求 也 发 出 去 后 再 来 统一 等 待 服务 A、 服 务 B 和 
服务 C 的 执行 结果 ， 然 后 再 接着 进行 本 地 的 数据 处 理 。 如 果 改 造成 这 
样 的 话 ， 整 个 线程 的 处 理 时 间 就 会 变 为 40ms+20ms= 60ms， 比 原来 的 
100ms 减 少 40ms。 当 然 ， 这 里 有 一 个 前 提 ， 即 所 调用 服务 A、 服 务 B、 
服务 C 之 间 并 没有 相互 的 依赖 关系， 举例 来 说 束 是 调用 服务 B 的 时 候 ， 
并 不 需要 调用 服务 A 所 返回 的 信息 。 如 果 各 服务 之 间 存 在 依赖 ， 那 就 
只 能 等 到 前 一 个 服务 返回 后 才能 进行 后 续 的 服务 调用 。 我 们 之 所 以 能 
够 方便 地 使 用 并 行 调用 优化 ， 就 是 因为 有 Future 方 式 的 支持 。 并 且 因 
为 底层 使 用 的 是 NIO 方 式 ， 所 以 并 行 方式 并 没有 产生 额外 的 开销 ， 反 
而 能 使 总 体 消 耗 时 间 缩 短 ， 在 同样 的 线程 数 配置 、 同 样 硬件 的 情况 
下 ， 会 使 得 单位 时 间 的 处 理 能 力 得 到 明显 提升 (具体 提升 的 幅度 与 单 
个 请 求 内 部 远程 调用 的 并 行 度 有 关 ) 。 


接 下 来 ， 请 求 通过 网 络 到 了 服务 喘 ， 并 且 在 服务 端 执行 有 了 返回 ， 又 
通过 网 络 模块 得 到 返回 结 末 ， 这 时 殉 需 要 进行 通信 协议 解析 、 数 据 反 
序列 化 的 工作 了 。 需 要 注意 的 是 反 序列 化 工作 使 用 什么 线程 的 问题 ， 
一 般 是 使 用 IO 线 程 ， 不 过 这 样 会 影响 IO 线 程 的 工作 效率 ， 男 一 种 方式 
征 把 反 序列 化 工作 从 IO 线程 转移 到 其 他 线程 去 做 ， 然 后 再 把 结 打 传 到 
等 待 的 请 求 线程 。 


4.2.4 ”服务 提供 端的 设计 与 实现 


我 们 通过 4.2.3 廊 把 请 求 调用 并 的 过 程 详 细 讲 述 了 一 这， 接 下 来 我 们 一 
起 看 看 服务 提供 问 的 情况 ， 如 图 4-28 所 示 。 


反 序 列 化 /协议 解析 协议 适 配 / 序 列 化 


图 4-28 ”服务 提供 端 具体 工作 


4.2.4.1 ”如 何 暴 圳 远程 服务 


服务 端的 工作 有 两 部 分 ， 一 是 对 本 地 服务 的 注册 管理 ， 二 是 根据 进来 
的 请 求 定位 服务 并 执行 。 我 们 先 来 看 看 服务 注册 的 部 分 。 


我 们 从 如 何 配置 远程 服务 开始 。 还 是 用 之 前 的 Calculator 举 例 ， 完 整 的 
代码 就 不 重复 列 出 了 ， 下 面 是 传统 的 配置 Spring 的 一 个 bean 的 方式 : 


<bean id = "calculator"class = "org.vanadies.CalculatorIimpl 


> 


</bean> 


Us ， 这 里 来 看 看 服务 提供 端的 配 


<bean id = "calculator"class = "org.vanadies.ServiceFramewo 
rk.ProviderBean"> 


<property name = "interfaceName"> 


<value>org.vanadies.calculator</value> 


</property> 
<property name = "target"> 
<ref bean = "calculatorIimpl/> 
</property> 
<property name = "version"> 


<value>1.0.0</value> 
</property> 
<property name = "group"> 
<value>Test</value> 
</property> 
</bean> 


<bean id = "calculatorIimpl"class = "org.vanadies.Calculator 
Impl"> 


</bean> 


上 面 配 置 的 写法 是 否 似曾相识 ? 与 之 前 在 请 求 调用 端 看 到 的 配置 非常 
类 似 和 呼应 ， 二 者 的 不 同 之 处 有 两 点 。 首 先 ， 在 服务 提供 端 使 用 的 是 
ProviderBean 对 象 ， 而 在 调用 请 求 端 使 用 的 是 ConsumerBean 对 和 象 ， 我 
们 之 前 看 到 了 ConsumerBean 的 大 概 职 能 和 做 法 ， 后 面 会 看 到 
ProviderBean 的 职责 。 此 外 ， 在 服务 提供 端 增加 了 一 个 属性 target， 这 
个 属性 是 要 表明 具体 执行 服务 的 SpringBean， 因 为 ProviderBean 本 号 并 
不 执行 具体 服务 ， 只 是 起 到 调用 端 代码 存根 的 作用 ， 所 以 我 们 需要 知 
道真 正 执行 服务 的 SpringBean 是 哪个 。 其 他 的 例如 interfaceName、 
version、group 等 属性 ， 与 请 求 调用 端的 同名 属性 的 含义 相同 。 


现在 来 看 看 ProviderBean 的 职能 。 从 前 面 的 介绍 我 们 知道 ， 服 务 需要 注 
册 到 服务 注册 查找 中 心 后 才能 被 服务 调用 者 发 现 ， 所 以 ，ProviderBean 
需要 将 目 己 所 代表 的 服务 注册 到 服务 注册 查找 中 心 。 另 外 ， 当 请 求 调 
用 端 定位 到 提供 服务 的 机 絮 并 且 请 求 被 送 到 提供 服务 的 机 如 上 后 ， 在 
本 机 也 需要 有 一 个 服务 与 具体 对 象 的 对 应 关系 ，ProviderBean 也 需要 在 
本 地 注册 服务 和 对 应 服务 实例 的 关系 。 


4.2.4.2 ”服务 咒 对 请 求 处 理 的 流程 


前 面 我 们 看 到 了 在 服务 调用 端 服务 框架 与 容 答 、 应 用 的 关系 ， 在 服务 
提供 端 也 是 一 样 的 情况 。 无 论 上 服务 框架 以 什么 方式 与 应 用 集成 在 一 
起 ， 在 启动 时 都 需要 监听 服务 端口 。 当 服务 注册 都 已 完成 ， 而 且 监 听 
端口 也 准备 好 时 ， 束 只 需 等 着 服务 调用 端的 请 求 进来 了 。 


服务 端的 通信 部 分 同样 也 不 能 用 BIO 来 实现 ， 而 要 采用 NIO 的 方式 来 实 
现 。 接 收 到 请 求 后 ， 通 过 协议 解析 及 反 序 列 化 ， 我 们 可 以 得 到 请 求 发 
送 端 调用 服务 方法 的 具体 信息 ， 根 据 其 中 的 服务 名 称 、 版 本 号 找到 本 
地 提供 服务 的 具体 对 象 ， 然 后 再 用 传 过 来 的 参数 调用 相关 对 象 的 方法 
就 可 以 了 。 

之 前 在 请 求 调用 端 重点 介绍 过 路 由 的 做 法 ， 其 中 所 到 了 引入 服务 、 方 
法 、 参 数 的 路 由 ， 并 且 通 过 这 样 的 方式 解除 了 调用 慢 服 务 对 于 其 他 服 
务 的 影响 。 在 服务 提供 端 ， 我 们 有 另外 一 种 方法 来 解决 这 个 问题 。 


先 看 一 下 图 4-29 所 示 的 流程 ， 如 下 。 


图 4-29 ”请 求 处 理 流程 


这 一 流程 会 涉及 两 个 具体 问题 ， 第 一 ， 在 网 络 通信 层 ，IO 线 程 会 进行 
通信 的 处 理 〈 一 般 是 多 个 IO 线程 ) ， 在 收 到 完整 的 数据 包 、 完 成 协议 
解析 得 到 序列 化 后 的 请 求 数据 时 ， 反 序列 化 在 什么 线程 进行 是 需要 考 
虑 的 ; 第 二 ， 得 到 反 序 列 化 后 的 信息 并 定位 服务 后 ， 调 用 服务 在 什么 


线程 进行 也 是 需要 考虑 的 。 一 般 来 说 ， 调 用 服务 一 定 是 在 工作 线程 
( 非 IO 线程 ) 进行 的 ， 而 反 序列 化 的 工作 则 取决 于 具体 实现 ， 在 IO 线 
程 或 工作 线程 中 进行 的 方式 都 有 。 


4.2.4.3 ”执行 不 同 服务 的 线程 池 隔 离 


服务 提供 端的 工作 线程 是 一 个 线程 池 ， 路 由 到 本 地 的 服务 请 求 会 被 放 
入 这 个 线程 池 执行 。 如 采 客 户 端 没有 通过 接口 或 方法 进行 路 由 ， 我 们 
忠 可 以 在 服务 提供 端 进 行 控 制 ， 也 就 古 进行 服务 剖 线 程 池 隔 离 。 具 体 
的 做 法 其 实 十 分 类 似 于 请 求 调用 方 根据 接口 、 方 法 、 参 数 进行 的 路 
由 。 在 服务 提供 端 ， 工 作 线 程 池 不 是 一 个 ， 而 是 多 个 ， 当 定位 到 服务 
后 ， 我 们 根据 服务 名 称 、 方 法 、 参 数 来 确定 具体 执行 服务 调用 的 线程 
池 走 哪个 。 这 样 ， 不 同 线程 池 之 间 束 是 隅 离 的 ， 不 会 出 现 争 抢 线 程 货 
源 的 情况 。 这 束 好 像 把 服务 提供 者 的 机 器 隔离 开 一 样 ， 也 束 是 会 变 成 
图 4-30 所 示 的 样子 。 


图 4-30 ”将 执行 不 同 服务 的 线程 池 隔 离 


4.2.4.4 ”服务 提供 端的 流 控 处 理 


将 执行 服务 的 线程 池 隔离 会 带 来 服务 端 稳定 性 的 提升 ， 而 流 控 同样 是 
保证 服务 端 稳定 性 的 重要 方式 。 


在 服务 提供 者 看 来 ， 不 同 来 源 的 服务 调用 者 、0-1 的 开关 以 及 限制 具体 
数值 的 QPS 的 方式 都 需要 实现 。 并 且 在 服务 提供 者 这 里 ， 某 个 服务 或 
者 方法 可 以 对 不 同 服务 调用 者 进行 不 同 的 对 每 。 这 样 的 做 法 整 是 对 不 
同 的 服务 调用 者 进行 分 级 ， 确 傈 优 移 级 高 的 服务 调用 者 被 优先 提供 服 
务 。 这 也 是 保证 稳定 性 的 策略 。 


整个 服务 框架 的 功能 可 以 分 为 服务 调用 着 和 服务 提供 着 两 方面 ， 此 外 
像 序列 化 、 协 议 、 通 信 等 是 公用 的 功能 。 在 具体 实现 上 ， 是 把 这 些 功 
能 都 放 在 一 起 形成 一 个 完整 的 服务 框 染 ， 而 不 是 分 为 服务 调用 者 框架 
和 服务 提供 者 框架 ， 因 为 其 个 服务 调用 者 的 服务 提供 者 ， 可 能 是 男 一 
个 服务 提供 者 的 服务 调用 者 ， 它 们 是 相对 的 。 


整个 服务 框架 作为 一 个 产品 ， 可 以 让 集中 在 单机 内 部 的 调用 变 为 远程 
的 服务 化 。 在 具体 应 用 的 使 用 场景 中 ， 一 个 完整 的 服务 框架 可 能 需要 
被 改变 一 些 行为 ， 例 如 负载 均衡 的 部 分 ， 默 认 是 随机 选择 服务 地 址 ， 
在 有 些 场景 下 就 需要 用 权重 。 因 此 ， 服 务 框架 必须 做 到 模块 化 且 可 配 
置 ; 此 外 ， 一 些 特殊 的 场景 需要 使 用 着 来 具体 扩展 服务 框架 的 原 有 功 
能 。 这 束 有 要求 服 务 框架 被 很 好 地 模块 化 ， 且 模块 可 替换 ， 并 留 有 一 定 
的 扩展 点 来 扩展 原 有 功能 。 


4.2.5 ”服务 升级 


前 面 小 节 介 绍 的 内 容 都 是 服务 框 以 非常 必要 的 基础 内 容 。 一 旦 开始 使 
用 服务 框架 ， 残 意味 着 有 非常 多 的 服务 落地 ， 也 意味 大 必须 要 做 服务 
的 升级 。 对 于 服务 的 升级 ， 会 遇 到 两 种 情况 。 人 第 一 种 情况 是 接口 不 
变 ， 只 是 代码 本 吴 进 行 完善 。 这 样 的 情况 处 理 起 来 比较 简单 ， 因 为 提 
供给 使 用 者 的 接口 、 方 法 都 没有 变 ， 只 是 内 部 的 服务 实现 有 变化 。 这 
种 情况 下 ， 采 用 灰 度 发 布 的 方式 验证 然后 全 部 发 布 就 可 以 了 。 第 二 种 
情况 是 需要 修改 原 有 的 接口 ， 这 叉 分 为 以 下 两 种 情况 。 


一 是 在 接口 中 增加 方法 ， 这 个 情况 比较 简单 ， 直 接 增 加 方法 就 行 了 。 
而 且 在 这 样 的 情况 下 ， 需 要 使 用 新 方法 的 调用 者 束 使 用 新 方法 ， 原 来 
的 调用 者 继续 使 用 原来 的 方法 即 可 。 


二 是 要 对 接口 的 某 些 方法 修改 调用 的 参数 列表 。 这 种 情况 相对 复杂 一 
些 。 我 们 有 几 种 方式 来 应 对 : 


。 对 使 用 原来 方法 的 代码 都 进行 修改 ， 然 后 和 服务 端 一 起 发 布 。 这 

从 理论 上 说 是 个 办 法 ， 但 是 不 太 可 行 ， 因 为 这 要 求 我 们 同时 发 布 

多 个 系统 ， 而 且 一些 系 统 可 能 并 不 会 从 调整 参数 后 的 方法 那里 受 

人 O 

通过 版 本 号 来 解决 。 这 十 比较 音 用 的 方式 ， 使 用 老 方 法 的 系统 继 

人 
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。 在 设计 方法 上 考虑 参数 的 扩展 性 。 这 是 一 个 可 行 的 方式 ， 但 是 不 
太 好 ， 因 为 参数 列表 可 扩展 一 般 束 意味 着 是 采用 类 似 Map 的 方式 
来 传递 参数 ， 这 样 不 直观 ， 并 且 对 参数 的 校 验 会 比较 复杂 。 


4.3 ”实战 中 的 优化 


有 了 服务 框架 ， 集 中 式 系 统 环 会 很 方便 地 转变 为 分 布 式 系统 。 但 十 有 
下 面 儿 个 问题 需要 注意 。 


1. 服务 的 拆 分 

要 拆 分 的 服务 是 需要 为 多 方 提 供 公共 功能 的 ， 对 于 那些 比较 专用 的 实 
现 ， 查 出 来 它们 是 独立 部 署 在 远程 机 器 上 来 提供 服务 的 ， 这 不 仅 没 必 
要 ， 还 会 增加 系统 的 复杂 性 。 

2. 服务 的 粒度 

这 是 一 个 很 难 量 化 回答 的 问题 ， 只 能 说 需要 根据 业务 的 实际 情况 来 划 


分 服务 。 
3. 优雅 和 实用 的 平衡 


服务 化 的 架构 看 起 来 比较 优雅 ， 可 毕竟 多 一 次 调用 束 比 之 前 多 走 了 一 
次 网 络 ， 一 些 功 能 直接 在 服务 调用 者 的 机 右上 实现 会 更 加 合适 、 经 


济 。 例 如 我 们 看 下 面 的 一 个 例子 ， 如 图 4-31 所 示 。 


服务 调用 者 


服务 提供 者 


图 4-31 服务 提供 者 完成 与 缓存 、 数 据 库 的 交互 


服务 提供 者 使 用 数据 库 进 行 数据 的 存储 ， 使 用 缓存 来 缓解 数据 库 的 压 
力 。 服 务 提供 者 对 外 提供 数据 的 读 写 服务 ， 当 然 ， 里 面 还 包含 了 一 定 
0 " 服务 调用 者 通过 服务 提供 者 提供 的 读 写 服务 进行 数据 库 
J 访问 。 


这 个 结构 看 起 来 没什么 问题 ， 也 比较 优雅 。 但 是 深入 分 析 一 下 就 会 发 
现 ， 如 有 宁 服 务 调 用 者 读 取 数 据 的 频率 非常 高 的 话 ， 让 服务 调用 者 直接 
读 取 绥 存 会 更 合适 。 也 就 是 说 ， 我 们 需要 做 一 个 客户 端 ， 其 中 包含 了 
服务 提供 者 所 提供 服务 的 所 有 接口 ， 并 且 有 一 定 的 代码 逻辑 。 这 个 逻 
辑 殉 是 把 读 取 缓存 的 逻辑 直接 放 到 服务 调用 者 那里 来 执行 ， 如 有 果 缓 存 
读 取 成 功 束 结 束 ， 耕 则 就 到 服务 提供 者 那里 去 进行 读数 据 库 、 更 新 绥 
存 的 操作 。 其 他 写 操 作 则 还 是 直接 由 服务 提供 阁 来 处 理 ， 如 图 4-32 所 
太 ° 


服务 调用 者 
服务 提供 者 


图 4-32 ”服务 调用 者 直接 读 缓 存 


这 样 的 结构 看 起 来 没有 图 4-31 中 的 结构 优雅 ， 但 是 这 古 一 个 比较 实用 
的 方案 。 大 部 分 对 数据 的 请 求 直接 走 一 次 绥 存 束 可 以 了 ， 只 有 少 部 分 
没有 命中 缓存 的 数据 读 取 需要 走 服务 提供 者 ， 然后 再 到 数据 库 进行 读 
取 并 插入 缓存 。 


4. 分 布 式 环境 中 的 请 求 合并 


这 个 问题 和 前 一 个 问题 类 似 ， 都 是 与 优化 有 关 的 问题 。 我 们 知道 ， 服 
务 调用 就 是 为 了 完成 数据 的 读 、 写 和 计算 。 而 在 大 型 的 分 布 式 系统 
中 ， 我 们 能 否 合并 相关 的 读 、 写 、 计 算 任务 ， 这 是 需要 认真 思考 的 问 
题 ， 因 为 对 于 热点 数据 的 处 理 ， 如 果 可 以 进行 一 些 任 务 的 合并 处 理 ， 
就 会 明显 降低 整个 系统 的 负载 。 我 们 先 看 一 个 单机 中 的 例子 。 在 单机 
多 线程 的 应 用 中 可 能 会 有 一 些 操作 比较 消耗 系统 资源 ， 如 果 能 够 进行 
I 束 会 提升 处 理 效率 ， 我 们 看 一 个 具体 的 例子 ， 如 图 4- 
33 甩 不 。 


图 4-33 ”多 线程 重复 计算 


假设 要 为 单机 写 一 个 根据 请 求 去 读 取 数据 并 计算 生成 报表 的 应 用 ， 最 
简单 的 方式 是 把 逻辑 写 好 ， 然 后 做 成 线程 安全 的 。 在 执行 过 程 中 ， 我 
们 需要 从 远程 读 取 大 量 数 据 ， 然 后 进行 复杂 的 统计 计算 ， 最 后 生成 报 
表 。 我 们 可 以 增加 缓存 来 减少 数据 读 取 和 计算 的 工作 量 ， 例 如 同样 参 
数 的 报表 ， 如 果 已 经 有 请 求 计 算 过 ， 那 么 之 后 的 请 求 直 接 用 结果 就 行 
了 。 缓 存 的 有 效 时 间 根 据 业 务 的 特性 来 决定 。 这 是 一 种 优化 方法 ， 再 
来 看 另 一 个 思路 ， 如 图 4-34 所 示 。 


线程 1 


否 已 经 有 
其 他 线程 在 
计算 


图 4-34 引入 合并 请 求 后 的 线程 处 理 流程 


图 4-34 展 示 的 线程 执行 逻辑 为 ， 解 析 完 参数 后 ， 检 查 古 否 有 其 他 线程 
在 计算 了 ， 如 有 果 没 有 ， 则 进行 计算 ;如 果 已 经 有 线程 在 计算 相同 的 数 


忠和 等待 其 他 线程 的 计算 结果 。 具 体 的 实现 上 可 以 依赖 Future 方 


但 是 把 这 个 思路 移植 到 分 布 式 的 环境 中 时 ， 会 有 新 的 问题 要 解决 ， 如 
图 4-35 所 示 。 


图 4-35 ”分 布 式 环境 下 请 求 合并 的 问题 


相对 于 单机 的 多 线程 ， 分 布 式 环境 会 涉及 多 个 市 点 。 在 单机 中 判断 十 
人 否 有 同样 任务 在 执行 是 很 简单 的 ， 而 在 多 机 环境 中 ， 则 需要 由 独立 于 
服务 调用 者 、 服 务 提供 者 之 外 的 节点 来 完成 相关 工作 ， 也 吏 是 需要 分 
布 式 的 锁 服 务 来 控制 。 但 是 这 是 需要 进行 权衡 的 ， 因 为 在 分 布 式 系统 
中 ， 如 末 每 个 请 求 部 要 走 一 次 分 布 式 的 锁 服 务 来 进行 控制 ， 束 会 有 额 
外 的 开销 。 另 一 个 思路 是 ， 在 服务 调用 端 不 是 把 请 求 随机 分 发 给 服务 
提供 者 ， 而 是 根据 一 定 的 规则 把 同样 的 请 求 发 送 到 同一 个 服务 提供 着 
上 ， 然 后 在 服务 提供 者 的 机 器 上 做 单机 控制 ， 这 样 通过 路 由 策略 的 选 
择 ， 可 以 不 引入 分 布 式 锁 服 务 ,， 减少 了 复杂 性 。 此 外 ， 对 于 比较 消耗 
系统 资源 的 操作 ， 不 论 是 使 用 分 布 式 锁 服 务 ， 还 是 采用 路 由 的 方式 把 
请 求 送 到 特定 机 器 ， 在 服务 调用 者 上 都 可 以 进行 单机 多 线程 的 控制 。 
具体 采用 何 种 方式 ， 需 要 根据 具体 场景 来 决定 ， 而 且 需 要 数据 的 文 持 
来 做 出 最 后 的 决定 。 


4.4 为 服务 化 护航 的 服务 治理 


前 面 儿 节 介绍 了 服务 框架 相关 的 设计 和 实战 中 的 优化 ， 我 们 接着 介绍 
一 下 服务 治理 。 服 务 治理 是 在 系统 采用 服务 框架 后 ， 为 服务 化 你 轨 护 
航 的 功能 集合 。 


从 集中 式 应 用 走 同 了 分 布 式 系 统 后 ， 整 个 系统 的 结构 和 依赖 会 比 之 前 
复杂 很 多 ， 而 服务 框 染 是 串 起 整个 系统 的 一 个 重要 通路 。 我 们 将 会 
很 多 的 服务 提供 者 、 服 务 调用 者 以 及 大 量 的 服务 ， 因 此 ， 对 这 些 服务 
的 治理 是 一 个 很 重要 的 话题 。 我 们 重点 看 看 服务 治理 应 该 完成 什么 样 
的 工作 ， 至 于 具体 的 实现 方式 则 会 因 不 同 实现 者 而 不 同 。 


我 们 可 以 将 服务 治理 分 为 管理 服务 和 查看 服务 这 两 个 方面 ， 也 就 相当 
于 数据 的 写 和 读 ， 管 理 需 要 我 们 去 控制 、 操 作 整 个 分 布 式 系统 中 的 服 
务 ， 而 查看 则 是 看 运行 时 的 状态 或 者 一 些 具体 信息 、 历 史 数 据 等 。 


我 们 首先 看 一 下 服务 查看 具体 包括 哪些 内 容 。 


。 服务 信息 ， 服 务 最 基本 的 信息 。 
o 服务 编码 ， 即 数 子 化 的 服务 编码 
o 文 持 编码 的 注册 
。 根据 编码 定位 服务 信息 
。 服务 质量 : 根据 被 调用 服务 的 出 错 率 、 啊 应 时 间 等 数据 对 服务 质 
量 进行 的 评估 。 
。 最 好 、 最 差 的 服务 排行 
。 各 个 服务 的 质量 趋势 
。 各 种 查询 条 件 的 文 持 
服务 容量 : 根据 所 提供 服务 的 总 能 力 以 及 当前 所 使 用 容量 进行 的 
评估 ， 其 中 能 力 是 指 对 于 请 求 数量 方面 的 文 撑 情况 。 
。 服务 容量 与 当前 水 位 的 展示 
o 历史 趋势 图 
。 根据 水 位 的 高 低 排序 
。 各 种 查询 条 件 的 文 持 
服务 依赖 : 根据 服务 被 调用 以 及 服务 调用 其 他 服务 的 情况 ， 给 出 
服务 与 其 上 下 游 服 务 的 依赖 和 关系， 里 面 除了 服务 间 定 性 的 依赖 头 
系 外 ， 还 有 定量 的 数据 信息 。 
o 依赖 服务 展示 
。 被 依赖 展示 
。 依赖 变化 
。 服务 分 布 : 提供 同样 服务 的 机 器 的 具体 分 布 情况 ， 主 要 十 看 跨 机 
房 的 分 布 情况 。 
。 服务 在 不 同 机 房 分 布 
。 服务 在 不 同 机 柜 分 布 


o 分 布 不 均衡 服务 列表 

。 服务 统计 : 服务 运行 时 信息 的 统计 。 

调用 次 数 统计 和 排名 

出 错 次 数 统计 和 排名 

出 错 率 统计 和 排名 

响应 时 间 统 计 和 排名 

啊 应 时 间 趋 势 

出 错 率 趋势 

。 服务 元 数据 : 服务 基本 信息 的 查看 。 

o 服务 的 方法 和 参数 
i 
人 心 \ JI 能 
o 服务 的 应 用 负责 人 人、 测试 负责 
。 服务 所 属 的 应 用 名 称 
o 服务 发 布 时 间 
o 服务 提供 者 的 地 址 列表 
o 服务 容量 
。 服务 质量 
。 服务 调用 次 数 
。 服务 依赖 
o 服务 版 本 及 归 组 信息 等 

。 服务 报表 : 主要 提供 非 实 时 服务 的 各 种 统计 信息 的 报表 ， 包 括 不 
同时 间 段 的 对 比 以 及 分 时 统计 的 信息 。 

。 服务 监视 : 提供 对 于 服务 运行 时 关键 数据 的 采集 、 规 则 处 理 和 告 
警 。 注 意 这 里 是 服务 监视 而 非 监控 ， 主 要 是 完成 对 于 服务 运行 数 
据 的 收集 和 处 理 ， 但 不 提供 控制 ， 通 过 监视 发 现 问题 后 再 在 相应 
的 服务 管理 中 进行 管理 工作 。 服 务 监视 只 提供 用 于 决策 的 数据 基 
础 ， 并 且 根 据 已 定义 的 规则 进行 告警 。 


接 看 我 们 从 服务 管理 的 角度 看 一 下 有 哪些 事情 要 做 。 


。 服 务 上 下 线 : 前 面 看 到 服务 是 通过 ProviderBean 目 动 注册 的 ， 在 治 
理 中 我 们 还 需要 控制 服务 的 上 下 线 。 
o 针对 一 个 服务 所 有 机 器 的 上 线 和 下 线 操作 
o 针对 指定 机 器 的 上 线 和 下 线 操作 
o DoubleCheck 探 制 


O 0O 0O 0O oO oOo 


。 服务 路 由 : 是 对 服务 路 由 策略 的 管理 ， 承 是 之 前 看 到 的 基于 接 
口 、 方 法 、 参 数 的 路 由 的 集中 管理 。 
o 路 由 管理 界面 支持 
o 路 由 信息 更 改 前 后 对 比 和 验证 
o。 路 由 配置 多 版 本 管理 和 回 深 
o DoubleCheck 控 制 
。 服务 限 流 降级 对 应 的 是 之 前 介绍 过 的 流 探 部分， 服务 降级 是 对 
服务 对 外 流 控 的 统一 管理 。 当 然 ， 除 了 管理 流 探 外 ， 还 集中 管理 
了 服务 上 的 很 多 开关 。 例 如 ， 在 服务 调用 或 者 执行 的 地 方 ， 除 了 
限 流 还 可 以 停止 一 些 非 重要 功能 的 处 理 ， 以 便 主 流程 可 以 继续 执 
行 。 


o 根据 调用 来 源 限 流 

o 根据 具体 服务 限 流 

o 针对 服务 开关 降级 

o 流 控 、 降 级 配置 多 版 本 管理 和 回 演 

o DoubleCheck 控 制 
服务 归 组 : 是 在 集中 的 控制 台 调 整 服务 的 分 组 信息 ， 对 应 我 们 在 
服务 提供 者 的 配置 属性 中 看 到 的 group 属 性 ， 可 以 在 集中 的 控制 台 
对 服务 的 分 组 直接 进行 管理 。 

o 归 组 规则 的 多 版 本 管理 和 回 滚 

。 归 组 规则 预览 

o。 归 组 规则 的 影响 范围 和 评估 

o DoubleCheck 探 制 
0 
管理 。 

o 调用 方 的 线程 管理 ， 主 要 是 最 大 并 发 的 管理 

o 服务 端 线程 工作 状况 查询 

o 服务 端 针对 不 同 服务 的 多 个 业务 线程 池 的 管理 

o DoubleCheck 探 制 
机 房 规 则 : 是 针对 多 机 房 、 虚 机 房 规则 的 管理 。 

o。 规则 查询 和 发 布 校 验 

o。 规则 多 版 本 管理 和 回 深 

o DoubleCheck 控 制 
服务 授权 : 随 着 服务 和 服务 调用 者 的 增多 ， 一 些 重要 服务 的 使 用 
是 需要 有 授权 和 鉴 权 的 支持 的 ， 服 务 授 权 束 是 针对 服务 调用 者 的 
授权 管理 。 

o 授权 信息 查询 


”授权 规则 多 版 本 文 择 和 回 滚 
o DoubleCheck 控 制 


4.5 ”服务 框架 与 ESB 的 对 比 


企业 服务 总 线 (ESB) 也 是 系统 在 采用 服务 化 时 的 一 个 重要 文 撑 产 
品 ， 这 一 节 我 们 看 一 下 本 草 所 讲 的 服务 框 染 与 企业 服务 总 线 的 对 比 。 


图 4-36 是 ESB 结 构 的 一 个 简 图 。ESB 的 概念 是 从 面向 服务 体系 架构 中 
(SOA) 发 展 过 来 的 ， 它 是 对 多 样 系统 中 的 服务 调用 者 和 服务 提供 者 
的 解 耦 。ESB 本 喘 也 可 以 解决 服务 化 的 问题 ， 它 提供 了 服务 暴露 、 接 
入 、 协 议 转 换 、 数 据 格式 转 换 、 路 由 等 方面 的 支持 。ESB 与 服务 框 染 
主要 有 两 个 差异 ， 第 一 ， 服 务 框架 是 一 个 点 对 点 的 模型 ， 而 ESB 是 一 
个 忌 线 式 的 模型 ， 第 二 ， 服 务 框架 基本 上 是 面向 同 构 的 系统 ， 不 会 重 
瓜 和 谍 束 合 的 需求 ， 而 ESB 会 更 多 地 考 谍 不 同 | 商 所 近 供 服务 的 束 
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图 4-36 ESB 结构 图 


Service 
registry 


到 这 里 ， 服 务 框 架 的 介绍 束 结 束 了 。 服 务 框 染 为 我 们 的 应 用 提供 了 从 
集中 式 系 统 转 回 了 分 布 式 系统 的 基础 支持 (如 图 4-37 所 示 ) 。 有 了 服务 
框架 的 支持 ， 我 们 可 以 很 容易 地 对 原来 集中 在 一 个 应 用 中 的 各 种 代 
码 、 操 作 进 行 梳 理 ， 然 后 变 为 不 同 的 服务 调用 者 和 服务 提供 者 ， 而 通 
ee & 的 配置 与 使 用 单机 的 Spring Bean 的 配置 差别 不 
大 ， 不 过 在 具体 的 代码 调试 和 问题 定位 上 ， 分 布 式 系统 中 还 是 比 单 机 
要 拉 烦 ， 我 们 处 理 完 服务 框架 、 服 务 治理 后 ， 还 需要 针对 上 自 号 的 测试 
环境 去 完成 一 些 相 关 的 工作 ， 以 助 于 进行 开发 中 的 调试 和 问题 定位 。 


图 4-37 引入 服务 框架 后 的 结构 变化 


服务 框架 帮助 我 们 完成 了 应 用 的 架构 变化 ， 在 第 5 章 我 们 一 起 来 看 看 引 
a 应 用 对 数据 库 进行 访问 方面 的 变化 ， 也 就 是 数据 访问 


(了 有 D)_ 现 在 由 专人 维护 ， 而 以 前 是 很 多 的 人 维护 很 多 代码 。 


ee 系统 一 起 发 布 ， 并 且 应 用 系统 的 频繁 改动 会 可 能 造成 某 些 服务 代码 也 被 
牙 改 。 


(3)_ 笔者 在 学 校 的 时 候 也 学 习 过 使 用 Socket 进 行 TCP/IP 的 开发 。 一 般 就 是 完成 一 个 客户 端 和 
er ler ,例如 发 送 一 段 文 本 信息 ， 对 方 收 到 后 自动 原样 反馈 ， 或 者 是 通过 控制 台 的 


第 5 章 ”数据 访问 层 


四 ~ 


第 4 章 介绍 的 服务 框架 可 以 使 应 用 从 集中 式 走 同 分 布 式 ， 解 决 了 当 网 站 
功能 越 来 越 丰富 时 ， 单 个 应 用 越 来 越 庞大 的 问题 ， 使 鳌 个 系统 走 同 服 
务 化 的 架构 。 随 着 数据 量 和 访问 量 的 上 升 ， 应 用 使 用 的 数据 库 也 会 遇 
到 问题 ， 这 束 需 要 数据 访问 层 出 场 了 。 


5.1 ”数据库 从 单机 到 分 布 式 的 挑战 和 


应 对 


5.1.1 ”从 应 用 使 用 单机 数据 库 开 始 


我 们 在 构建 网 站 时 会 使 用 数据 库 来 作为 数据 管理 的 基础 软件 。 使 用 不 
同 的 语言 、 在 不 同 平台 上 的 网 站 都 有 各 目 解 决 数 据 库 访问 问题 的 组 件 
和 方式 ， 各 种 类 似 ODBC、JDBC 的 封 流 以 及 ORM 的 处 理 都 已 经 比较 成 
熟 ， 我 们 在 这 一 章 里 不 会 重点 介绍 这 些 内 容 。 我 们 要 讲 的 是 在 一 个 大 
型 系统 底层 的 数据 量 和 访问 量 逐 步 增 大 的 过 程 中 ， 该 系统 将 要 面临 的 
问题 和 相应 的 解决 方案 。 


使 用 数据 库 是 存储 、 读 取 数 据 的 一 种 选择 ， 接 下 来 我 们 主要 介绍 以 数 
据 库 为 基础 时 ， 数 据 访问 层 能 够 带 给 我 们 什么 便利 。 而 是 否 使 用 关系 
型 数据 库 解 决 业务 问题 不 是 本 章 讨论 的 重点 。 


我 们 还 是 从 最 位 单 的 应 用 说 起 ， 如 图 5-1 所 示 。 我 们 基于 Java 拉 术 构 建 
网 站 ， 使 用 JDBC 方 式 来 连接 数据 库 。 在 网 站 初期 ， 这 会 运行 得 很 好 ， 
所 有 的 业务 数据 都 可 以 放 在 一 个 数据 库 中 来 管理 。 


图 5-1 ”应 用 使 用 单机 数据 库 


5.1.2 ”数据 库 垂 直 / 水 平 拆 分 的 困难 


随 着 网 站 业务 的 快速 发 展 ， 数 据 量 和 访问 量 不 断 上 升 ， 数 据 库 的 压力 
越 来 越 大 。 更 换 更 好 的 硬件 (Scale Up) 是 一 种 解决 方案 ， 而 且 在 我 


们 能 付 得 起 硬件 费用 并 且 没 有 到 达 硬 件 单机 沽 贷 时 ， 这 也 是 一 个 比较 
简单 的 解决 方案 。 这 有 点 像 我 们 目 己 家 中 计算 机 的 升级 换代 。 但 是 数 
据 和 访问 量 的 增长 很 容易 就 会 超过 单机 的 极限 ， 我 们 需要 找 其 他 的 方 
式 来 解决 问题 。 


在 不 靠 升 级 硬件 的 情况 下 ， 能 够 想到 的 处 理 方案 殉 是 给 现 有 数据 库 减 
压 。 减 压 的 思路 有 三 个 ， 一 是 优化 应 用 ， 看 看 是 否 有 不 必要 的 压力 给 
了 数据 库 (应 用 优化 ; 二 是 看 看 有 没有 其 他 办 法 可 以 降低 对 数据 库 
的 讨 力 ， 例 如 引入 缓存 、 加 搜索 引擎 等 ， 最 后 一 种 思路 吏 是 把 数据 库 
的 数据 和 访问 分 到 多 台数 据 库 上 ， 分 开 文 持 ， 这 也 十 我 们 的 核心 思路 


和 次 辑 。 


数据 拆 分 有 两 种 方式 ， 一 个 是 王 直 拆 分， 一 个 是 水 平 拆 分 。 垂 直 拆 分 
忠 古 把 一 个 数据 库 中 不 同业 务 单 元 的 数据 分 到 不 同 的 数据 库 里 面 ， 水 
平 拆 分 是 根据 一 定 的 规则 把 同一 业务 单元 的 数据 拆 分 到 多 个 数据 库 
中 。 先 论 是 垂直 拆 分 还 十 水 平 拆 分 ， 最 后 的 结 来 都 十 将 原来 在 一 个 数 
据 库 中 的 数据 拆 分 到 了 不 同 的 数据 库 中 。 所 以 原来 单机 数据 库 可 以 文 
持 的 特性 现在 天 未 必 文 持 了 。 


垩 直 拆 分 会 市 来 如 下 影响 : 


。 单 机 的 ACID 保 证 被 打破 了 。 数 据 到 了 多 机 后 ， 原 来 在 单机 通过 事 
务 来 进行 的 处 理 逻 辑 会 受到 很 大 的 影响 。 我 们 面临 的 选择 是 ， 要 
么 放弃 原来 的 单机 事务 ， 修 改 实现 ， 要 么 引入 分 布 式 事务 。 

。 一 些 Join 操 作 会 变 得 比较 困难 ， 因 为 数据 可 能 已 经 在 两 个 数据 库 
中 了 ， 所 以 不 能 很 方便 地 利用 数据 库 自身 的 Join 了 ， 需 要 应 用 或 
者 其 他 方式 来 解决 。 

。 靠 外 键 去 进行 约束 的 场景 会 受 影响 。 


水 平 拆 分 会 市 来 如 下 影响 : 


。 同样 有 可 能 有 ACID 被 打破 的 情况 。 
同样 有 可 能 有 Join 操 作 被 影响 的 情况 。 

。 徘 外 键 去 进行 约束 的 场景 会 有 影 啊 。 

。 依赖 单 库 的 目 增 序列 生成 唯一 ID 会 受 影响 。 
。 针对 单个 逻辑 意义 上 的 表 的 查询 要 跨 库 了 。 


可 以 看 到 ， 数 据 库 的 拆 分 给 应 用 带 来 的 影响 还 是 比较 明显 的 ， 这 里 面 
列 出 的 只 征 其 中 一 部 分 。 在 实践 中 ， 只 要 是 操作 数据 被 拆 分 到 不 同 库 
中 的 情况 ， 束 都 会 受到 影响 ， 例 如 原来 的 一 些 存 储 过 程 、 触 发 右 等 也 
需要 改写 才能 完成 相应 的 工作 了 。 


接 下 来 ， 我 们 分 析 一 下 前 面 提 到 的 具体 问题 及 其 应 对 。 


2 单机 变 为 多 机 后 ， 事 务 如 何 处 


事务 的 文 持 对 业务 来 说 是 一 个 非常 重要 的 特性 ， 数 据 库 软件 对 单机 的 
ACID 的 事务 特性 的 支持 是 比较 到 位 的 ， 而 一 旦 进行 垂直 或 水 平 拆 分 
后 ， 我 们 所 要 面 对 的 束 古 多 个 数据 库 的 节点 了 ， 也 殊 古 分 布 式 事务 


了 ， 这 是 一 个 难题 。 
5.1.3.1 了 解 分 布 式 事务 的 知识 


分 布 式 事务 是 指 事务 的 参与 者 、 文 持 事 务 的 服务 右 、 资 源 服务 大 以 及 
事务 管理 大 分 别 位 于 分 布 式 系统 的 不 同 下 点 上 。 对 于 传统 的 单机 上 的 
事务 ， 所 有 的 事情 都 在 这 一 人 台 机 器 上 完成 ， 而 在 分 布 式 事务 中 ， 会 有 
多 个 他 扣 参与 。 


1. 分 布 式 事务 模型 与 规范 


X/Open 组 织 ( 即 现在 的 The Open Group) 提出 了 一 个 分 布 式 事务 的 规 
苑 一 一 XA。 在 看 XA 之 前 ， 我 们 和 看 一 下 X/Open 组 织 定 义 的 分 布 式 事 
务 处 理 模 型 X/Open DTP 模型 (X/Open Distributed Transaction 
Processing Reference Model) 。 在 X/Open DTP 模 型 中 定义 了 三 个 组 
件 ， 即 Application Program 、 Resource Manager 和 Transaction Manager， 


分 别 介绍 如 下 。 


。 Application Program (AP) ， 即 应 用 程序 ， 可 以 理解 为 使 用 DTP 
模型 的 程序 。 它 定义 了 事务 边界 ， 并 定义 了 构成 该 事务 的 应 用 程 
序 的 特定 操作 。 

。 Resource Manager (RM) ， 资 源 管理 器 ， 可 以 理解 为 一 个 DBMS 
系统 ， 或 者 消息 服务 器 管理 系统 。 应 用 程序 通过 资源 管理 器 对 资 


源 进 行 控 制 ， 资 源 必 须 实现 XA 定 义 的 接口 。 资 源 管 理 圳 提供 了 存 
储 共 享 资源 的 文 持 。 

。 Transaction Manager (TM) ， 事 务 管理 器 ， 负 责 协 调和 管理 事 
务 ， 提 供给 AP 应 用 程序 编程 接口 并 管理 资源 管理 如 。 事 务 管 理 器 
回 事 务 指 定 标 识 ， 监 视 它 们 的 进程 ， 并 负责 处 理事 务 的 完成 和 失 
败 。 事 务 分 支 标 识 ( 称 为 XID) 由 TM 指 定 ， 以 标识 一 个 RM 内 的 
全 局 事务 和 特定 分 文 。 它 是 TM 中 日 志 与 RM 中 日 志 之 间 的 相关 标 
记 。 两 阶段 提交 或 回 深 需 要 XID， 以 便 在 系统 启动 时 执行 再 同步 
操作 (也 称 为 再 同步 (resync) ) ,或 在 需要 时 允许 管理 员 执 行 
试探 操作 (也 称 为 手工 干预 。 


在 这 三 个 组 件 中 ，AP 可 以 和 TM、RM 通 信 ，TM 和 RM 之 间 可 以 互相 通 
信 。DTP 模 型 里 面 定 义 了 XA 接口 ，TM 和 RM 通过 XA 接口 进行 双向 的 
通信 ， 如 图 5-2 所 示 。 


资源 管理 器 - 
(RM) 事务 管理 器 注册 


图 5-2 分布 式 事务 AP/TM/RM 之 间 的 关系 


从 图 5-2 可 以 看 到 ，AP 和 RM 是 一 定 需 要 的 ， 而 事务 管理 颖 TM 是 我 们 
额外 引入 的 。 之 所 以 要 引入 事务 管理 器 ， 是 因为 在 分 布 式 系统 中 ， 两 
台 机 器 理论 上 无 法 达到 一 致 的 状态 ， 需 要 引入 一 个 单 点 进行 协调 。 事 
务 管理 器 控制 着 全 局 事务 ， 管 理事 务 的 生命 周期 ， 并 协调 资源 。 


在 DTP 中 还 定义 了 其 他 几 个 概念 ， 如 下 。 
。 事务: 一 个 事务 是 一 个 完整 的 工作 单元 ， 由 多 个 独立 的 计算 任务 


组 成 ， 这 多 个 任务 在 逻辑 上 是 原子 的 。 
。 全 局 事务 :一 次 性 操作 多 个 资源 管理 器 的 事务 整 是 全 局 事务 。 


。 分 文 事务 : 在 全 局 事务 中 ， 每 一 个 资源 管理 部 有 目 己 独立 的 任 
务 ， 这 些 任务 的 集合 是 这 个 资源 管理 右 的 分 文 任务 。 

。 控制 线程 : 用 来 表示 一 个 工作 线程 ， 主 要 是 关联 AP、TM 和 RM 二 
者 的 线程 ， 也 就 十 事务 上 下 文 环境 。 人 简单 地 说 ， 束 古 用 来 标识 全 
局 事务 和 分 文 事务 关系 的 线程 。 


我 们 看 一 下 整体 DTP 的 模型 ， 如 图 5-3 所 示 。 
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图 5-3 ”DTP 模 型 
图 5-3 所 示 的 是 一 个 具体 使 用 DTP 模 型 的 例子 ， 解 释 如 下 。 


。 AP 与 RM 之 间 ， 可 以 使 用 RM 目 身 提供 的 native API 进 行 交 互 ， 这 
种 方式 就 是 使 用 RM 的 传统 方式 ， 并 且 这 个 交互 不 在 TM 的 管理 范 
围 内 。 另 外 ， 当 AP 和 RM 之 间 需 要 进行 分 布 式 事务 的 时 候 ，AP 需 
要 得 到 对 RM 的 连接 (此 链接 由 TM 管理 ) ， 然 后 使 用 XA 的 native 
API 来 进行 交互 。 

。 AP 与 TM 之 则 ， 该 例子 中 使 用 的 是 TX 接口 ， 也 是 由 X/Open 所 规范 
的 。 它 用 于 对 事务 进行 控制 ， 包 括 局 动 事务 、 近 交 事 务 和 回 深 事 
这 


SS 


。ITM 与 RM 之 间 是 通过 XA 接 口 进行 交互 的 。TM 管 理 了 到 RM 的 连 
接 ， 并 实现 了 两 阶段 提交 。 


2. 两 阶段 提交 


我 们 接 下 来 看 一 下 两 阶段 提交 协议 ， 即 2PC，Two Phase Commitment 
Protocol。 之 所 以 称 为 两 阶段 提交 ， 是 相对 于 单 库 的 事务 提交 方式 来 说 
的 。 我 们 在 单 库 上 完成 相关 的 数据 操作 后 ， 就 会 直接 提交 或 者 回 深 ， 

而 在 分 布 式 系统 中 ， 在 提交 之 前 增加 了 准备 的 阶段 ， 所 以 称 为 两 阶段 


提交 。 


图 5-4 显 示 的 束 是 第 一 阶段 提交 的 情况 ， 可 以 看 到 ， 参 与 操作 的 是 事务 
管理 右 与 两 个 资源 。 


Prepare 


事务 管理 器 


(TM 》 


Prepare 


OK 


图 5-4 ”第 一 阶段 
图 5-5 所 示 的 是 第 二 阶段 的 情况 。 


Commit 


事务 管理 器 


(TM 》 


Commit 


图 5-5 ”第 二 阶段 


此 外 还 会 遇 到 的 男 外 一 种 情况 ， 束 是 在 准备 阶段 有 一 个 资源 失败 ， 那 
么 在 第 二 阶段 的 处 理 束 是 回 深 所 有 资产， 如 图 5-6 和 图 5-7 所 示 。 


prepare 


事务 管理 器 


(T™? 


Prepare 


Error 


图 5-6 ”出 现 问题 的 第 一 阶段 


Rollback 


事务 管理 器 
《TM ) 
Rollback 


OK 
图 5-7 第 一 阶段 出 现 问 题 后 的 第 二 阶段 


前 面 对 两 阶段 提交 的 介绍 都 是 在 理想 状态 下 的 情况 。 在 实际 当中 ， 由 
于 事务 管理 硕 目 身 的 稳定 性 、 可 用 性 的 影响 ， 以 及 网 络 通信 中 可 能 产 
生 的 问题 ， 出 现 的 情况 会 复 洒 很 多 。 此 外 ， 事 务 管理 紫 在 多 个 资源 之 
间 进 行 协调 ， 它 自身 要 进行 很 多 日 志 记 录 的 工作 。 网 络 上 的 交互 次 数 
的 增多 以 及 引入 事务 管理 融 的 开销 ， 是 使 用 两 阶段 提交 协议 使 分 布 式 
事务 的 开销 增 大 的 两 个 方面 。 


因此， 在 进行 垂直 拆 分 或 者 水 平 拆 分 后 ， 需 要 想 清楚 是 否 一 定 要 引入 
两 阶段 的 分 布 式 事 务 ， 在 必要 的 情况 下 才 建 议 使 用 。 


这 里 也 列 一 下 两 阶段 提交 协议 的 参考 资料 的 链接 : 


http://en.wikipedia.org/wiki/Two-phase_commit_ protocol 


5.1.3.2 ”大 型 网 站 一 致 性 的 基础 理论 一 一 
CAP/BASE 


分 布 式 事务 硕 望 在 多 机 环境 下 可 以 像 单机 系统 那样 做 到 强 一 致 ， 这 和 需 
要 付出 比较 大 的 代价 。 而 在 有 些 场 景 下 ， 接 收 状 态 并 不 用 时 刻 保持 一 
0 ?我们 这 节 一 了 解 下 CAP 理 论 及 其 对 于 大 型 网 


CAP 理 论 是 Eric Brewer 在 2000 年 7 月 份 的 PODC 会 议 上 提出 的 (可 能 提 
出 这 个 理论 的 时 间 出 乎 很 多 读者 的 意料 ) ，CAP 的 涵义 如 下 。 


。 Consistency: all nodes see the same data at the same time， 即 所 有 的 
节点 在 同一 时 间 读 到 同样 的 数据 。 这 惑 是 数据 上 的 一 致 性 〈 用 C 
表示 ) ， 也 就 是 当 数 据 写 入 成 功 后 ， 所 有 的 节点 会 同时 看 到 这 个 
新 的 数据 。 

Availability: a guarantee that every redquest receives a response abonut 
whether it was successful or failed， 保 证 无 论 是 成 功 还 是 失败 ， 
个 请 求 都 能 够 收 到 一 个 反馈 。 这 就 是 数据 的 可 用 性 (用 A 表 
示 ) ， 这 里 的 重点 是 系统 一 定 要 有 了 响应 。 

Partition-Tolerance: the System continues to operate despite arbitrary 
message loss or failure of part of the system， 即 便 系 统 中 有 部 分 问 
题 或 者 有 消息 的 丢失 ， 但 系统 仍 能 够 继续 运行 。 这 被 称 为 分 区 容 
忍 性 (用 P 表 示 ) ， 也 就 是 在 系统 的 一 部 分 出 现 问 题 时 ， 系 统 仍 
能 继续 工作 。 


但 是 ， 在 分 布 式 系统 中 并 不 能 同时 满足 上 面 三 项 。 图 5-8 更 直观 地 解释 
了 CAP 理 论 ， 束 是 图 的 总 面积 是 不 变 的 ， 我 们 不 能 同时 增 大 C、A、P 
三 者 的 面积 ， 我 们 可 以 选择 其 中 两 个 来 气 升 ， 而 另外 一 个 则 会 受到 损 
失 。 那 么 ， 在 进行 系统 设计 和 权衡 时 ， 其 实 就 是 在 选择 CA、AP 或 是 
CP。 


EL 


y 在 分 布 式 系统 中 ， 我 们 
最 多 满足 其 中 两 项 


artition-Tolerance 


图 5-8” CAP 理论 


。 选择 CA， 放 弃 分 区 容 仆 性， 加 强 一 致 性 和 可 用 性 。 这 其 实 殉 是 传 
统 的 单机 数据 库 的 选择 。 

。 选择 AP， 放 弃 一 致 性 ， 追 求 分 区 容 仿 性 及 可 用 性 。 这 是 很 多 分 布 
式 系统 在 设计 时 的 选择 ， 例 如 很 多 NoSQL 系 统 束 是 如 此 

。 选择 CP， 放 弃 可 用 性 ， 妃 求 一 致 性 和 分 区 容忍 性 。 这 种 选择 下 的 
可 用 性 会 比较 低 ， 网 络 的 问题 会 直接 让 整个 系统 不 可 用 。 


从 上 面 的 分 析 可 以 看 出 ， 在 分 布 式 系统 中 ， 我 们 一 般 还 是 选择 加 强 可 
用 性 和 分 区 容忍 性 而 牺牲 一 臻 性。 当然 ， 这 里 所 讲 的 并 不 是 不 关心 一 
致 性 ， 而 是 首先 满足 A 和 P， 然 后 看 如 何 解 决 C 的 问题 。 


我 们 再 来 看 看 BASE 模 型 ，BASE 泗 义 如 下 。 


。 Basically Available: 基本 可 用 人 评分 区 失败 地 

。 Soft state: 软 状态 ， 接 受 一 段 时 间 的 状态 不 同步 。 

。 Eventually consistent: 最 终 一 致 ， 保 证 最 终 数据 的 状态 是 一 臻 
的 。 


当 我 们 在 分 布 式 系统 中 选择 了 CAP 中 的 A 和 P 后 ， 对 于 C， 我 们 采用 的 
方式 和 策略 加 是 保证 最 终 一 致 ， 也 束 是 不 保证 数据 变化 后 所 有 节点 立 
刻 一 致 ， 但 是 保证 筷 们 最 终 是 一 致 的 。 在 大 型 网 站 中 ， 为 了 更 好 地 保 
持 扩 展 性 和 可 用 性 ， 一 般 都 不 会 选择 强 一致 性 ， 而 是 采用 最 终 一 致 的 
策略 来 实现 。 
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5.1.3.3 ” 比 两 阶段 提交 更 轻 量 一 些 的 Paxos 协 议 


下 面 介 绍 Paxos 协 议 ， 它 是 一 个 比 两 阶段 提交 村 轻 量 的 保证 一 致 性 的 协 


在 分 布 式 系统 中 ， 节 点 之 间 的 信息 交换 有 两 种 方式 ， 一 种 是 通过 共 至 
内 存 共用 一 份 数据 ; 另 一 种 是 通过 消息 投递 来 完成 信息 的 传递 。 而 在 
分 布 式 系 统 中 ， 通 过 消息 投递 的 方式 会 遇 到 很 多 意外 的 情况 ， 例 如 网 
络 问 题 、 进 程 挂 掉 、 机 器 挂 掉 、 进 程 很 慢 没 有 啊 应 、 进 程 重启 等 情 
况 ， 这 了 吏 会 造成 消息 重复 、 一 段 时 间 内 部 不 可 达 等 现象 。Paxos 协 议 走 
帮助 我 们 解决 分 布 式 系统 中 一 致 性 问题 的 一 个 方案 。 


使 用 Paxos 协 议 有 一 个 前 气 ， 那 就 是 不 存在 拜 占 寿 将 盏 问题 。 拜 占 庭 位 
于 现在 土耳其 的 伊斯坦布尔 ， 是 东 有 罗马 带 国 的 首都 。 当 时 拜占庭 罗马 
帝国 国土 辽阔 ， 防 御 敌 人 的 各 个 军队 都 分 隔 很 远 ， 将 军 与 将 军 之 间 只 
能 靠 信 郑 传 消 轧 。 在 战争 时 ， 拜 占 庭 军 队 内 所 有 将 军 和 副官 必须 达成 
共识 ， 决 定 出 是 否 有 说 的 机 会 才 去 攻打 敌人 的 阵营 。 但 是 ， 在 军队 内 
可 能 有 叛徒 或 敌 军 的 间谍 ， 扰 乱 将 军 们 的 决定 又 扰乱 整体 军队 的 秩 
序 ， 他 们 使 得 最 终 的 决定 结果 并 不 代表 大 多 数 人 的 意见 。 这 时 ， 在 已 
知 有 成 员 诬 反 的 情况 下 ， 其 余 忠 诚 的 将 军 应 该 如 何不 受 坡 徒 的 影响 达 
成 一 致 的 协议 ? 拜 占 性 将 军 问题 区 此 形成 。 也 束 是 说 ， 拜 占 姓 将 军 问 
题 是 一 个 没有 办 法 保证 可 信 的 通信 环境 的 问题 ，Paxos 的 前 提 古 有 一 个 
可 信 的 通信 环境 ， 也 束 是 说 信息 都 是 准确 的 ， 没 有 说 扯 改 。 


Paxos 算 法 的 提出 过 程 是 ， 虚 拟 了 一 个 叫做 Paxos 的 希腊 城邦 ， 并 通过 
议会 以 决议 的 方式 介绍 Paxos 算 法 。 


首先 把 议员 的 角色 分 为 了 Proposers、Acceptors 和 Learners， 议 员 可 以 身 
兼 数 职 ， 介 绍 如 下 。 


。 Proposers， 提 出 议案 者 ， 就 是 提出 议案 的 角色 。 

。 Acceptors， 收 到 议案 后 进行 判断 的 角色 。Acceptors 收 到 议案 后 要 
选择 是 否 接受 (Accept) 议案 ， 若 议案 获得 多 数 Acceptors 的 接 
受 ， 则 该 议案 被 批准 (Chosen) 。 

。 “0 只 能 “学 习 ” 被 批准 的 议案 ， 相 当 于 对 通过 的 议案 进行 观 


在 Paxos 协 议 中 ， 有 两 个 名 词 介 绍 如 下 。 


。 Proposal， 议 案 ， 由 Proposers 提 出 ， 被 Acceptors 批 准 或 否决 。 
。 ns 决议 ， 议 案 的 内 容 ， 每 个 议案 都 是 由 一 个 {编号 ， 决议} 对 
组 成 。 


在 角色 划分 后 ， 可 以 更 精确 地 定义 问题 ， 如 下 所 壕 : 


。 决 议 (Value) 只 有 在 被 Proposers 提 出 后 才能 被 批准 (未 经 批准 的 
决议 称 为 “议案 (Proposal) ”) 

。 在 Paxos 算 法 的 执行 实例 中 ， 一 次 只 能 批准 (Chosen) 一 个 
Value 

。Learners 只 能 获得 被 批准 (Chosen) 的 Value。 


对 议员 来 说 ， a 耐用 的 本 子 和 擦 个 挥 的 誉 水 来 记录 
议案 ， 议 员 会 会 把 表决 信 , 忌 记 在 本 于 的 背面 ， 本 子 上 的 议案 永远 不 会 改 
变 ， 但 是 背面 的 信息 可 能 会 被 划 掉 。 每 个 议员 必须 (也 只 需要 ) 在 本 
子 背面 记录 如 下 信息 ; 


。 LastTried[p]， 由 议员 p 试 图 发 起 的 最 后 一 个 议案 的 编号 ， 如 有 果 议 员 
p 没 有 发 起 过 议案 ， 则 记录 为 负 无 穷 大 。 

。 PreviousVote[p]， 由 议员 p 投 票 的 所 有 表决 中 ， 编 号 最 大 的 表决 对 
应 的 投票 ， 如 果 没 有 投 过 票 则 记录 为 负 无 穷 大 。 

。 NextBallot[p]， 由 议员 p 发 出 的 所 有 LastVote (b,v) 消息 中 ， 表 决 
编号 b 的 最 大 值 。 


基本 协议 的 完整 过 程 如 下 。 


(1) 议员 p 选 择 一 个 比 LastTried[p] 大 的 表决 编号 b， 设 置 LastTried[p] 
的 值 为 b， 然 后 将 NextBallot (b) 消息 发 送 给 某 些 议员 。 


(2) 从 p 收 到 一 个 b 大 于 NextBallot[q] 的 NextBallot (b) 消息 后 ， 

将 NextBallot[q] 设 置 为 bp， 然 后 发 送 一 个 LastVote (b,v) 消息 给 p， 其 中 
Vv 等 于 PreviousVote [q] (b<NextBallot[q] 的 NextBallot (b) } 下 名 
临 ) 


(3) 在 某 个 多 数 集合 Q 中 的 每 个 成 员 都 收 到 一 个 LastVote (b,v) 消息 
后 ， 议员 p 发 起 一 个 编 Sb、 法 定 人 数 集 为 Q、 议 案 为 d 的 新 表决 。 然 
后 它 会 给 Q 中 的 每 一 个 牧师 发 送 一 个 BeginBallot (b,d) 消息 。 


(4) 在 收 到 一 个 b=NextBallot[q] 的 BeginBallot (b,d) 消息 后 ， 议 员 q 
在 编号 为 b 的 表决 中 投 出 他 的 一 票 ， 设 置 PreviousVote [p] 为 这 一 票 ， 然 
后 向 p 发 送 Voted (b,q) 消息 。 


(5) p 收 到 Q 中 每 一 个 qd 的 Voted (b， 
人 数 集合 ，b=LastTried[p]) ， 将 d 
子 上 ， 然 后 发 送 一 条 Success (d) 站 


by 一 个 议员 在 接收 到 Success (d) 消息 后 ， 将 决议 d 写 到 他 的 本 子 


qd) 消息 后 (这 里 Q 是 表决 b 的 法 定 
(这 轮 表决 的 法 令 ) 记录 到 他 的 本 


月 忌 给 每 个 gq 。 


从 上 面 的 介绍 可 以 看 出 ，Paxos 不 是 那么 容易 理解 的 ， 不 过 总 结 一 下 核 
心 的 原则 就 是 少数 服从 多 数 。 


大 家 会 发 现 ， 如 采 系 统 中 同时 有 人 提议 案 的 话 ， 可 能 会 出 现 碰 撞 失 
败 ， 然 后 双方 部 需要 增加 议案 的 编号 再 提交 的 过 程 。 而 再 次 提交 可 能 
Os 因此 双方 需要 再 增加 编号 去 提交 。 这 束 会 产生 活 
六 。 


解决 的 办 法 是 在 整个 集群 当中 设 一 个 Leader， 所 有 的 议案 都 由 他 来 
提 ， 这 样 就 可 以 避免 这 种 冲突 了 。 这 其 实 是 把 提案 的 工作 变 为 一 个 单 
点 ， 而 引发 的 新 问题 是 如 果 这 个 Leader 出 问题 了 该 如 何 处 理 ， 那 就 需 
要 再 选 一 个 Leader 出 来 。 


以 上 对 于 Paxos 的 介绍 只 是 一 个 非常 基础 的 介绍 ， 读 者 如 果 想 对 此 有 更 
深入 的 了 解 ， 可 以 阅读 The Part-Time Parliament 、Paxos Made Simple、 
Consensus on Transaction Commit、Cheap Paxos 、Fast Paxos 等 论文 ， 

也 可 以 参考 维基 百科 上 Paxos 的 资料 ， 网 址 为 - 


http://en.wikipedia.org/wiki/Paxos_ (computer science) 


5.1.3.4 ”集群 内 数据 一 致 性 的 算法 实例 


关于 集群 内 数据 的 一 致 性 ， 我 们 通过 Quorum 和 Vector Clock 算 法 来 具 
体 讲 解 一 下 ， 亚 马 进 Dynamo 的 论文 中 对 Quorum 和 Vector Clock 有 比较 
详细 的 介绍 。 


先 来 看 Quorum， 它 是 用 来 权衡 分 布 式 系统 中 数据 一 致 性 和 可 用 性 的 ， 
把 们 三 个 信守 旭 下 ” 


。N: 数据 复制 节点 数量 。 
。R: 成 功 读 操作 的 最 小 节点 数 。 
。W: 成 功 写 操作 的 最 小 节点 数 。 


如 果 W 十 R>N， 是 可 以 保证 强 一致 性 的 ， 而 如 有 果 W 十 RsN， 征 能 够 保 
证 最 终 一 致 性 的 。 

根据 前 面 的 CAP 理 论 ， 我 们 需要 在 一 致 性 、 可 用 性 和 分 区 容 航 性 方面 
进行 权衡 。 例 如 ， 如 果 让 W=N 且 R=1， 就 会 大 大 降低 可 用 性 ， 但 是 
一 致 性 是 最 好 的 。 

Vector Clock 的 思路 是 对 同一 份 数据 的 每 一 次 修改 都 加 上 "< 修改 者 ， 版 
本 号 >” 这 样 一 个 信息 ， 用 于 记录 修改 者 的 信息 及 版 本 号 ， 通 过 这 样 的 
言 居 来 帮助 我 们 解决 一 些 冲突 。 

假设 有 如 下 场景 : 


Alice、Ben、Catby 和 Dave 四 人 约定 下 周 要 一 起 聚餐 ， 四 个 人 通过 邮件 
商量 聚餐 的 时 间 。 


Alice 首 先 建议 周三 聚餐 。 

之 后 Dave 和 Catby 商 量 觉得 周 四 更 合适 。 

后 来 Dave 又 和 Ben 商 量 之 后 觉得 周二 也 行 。 

最 后 Alice 要 汇总 大 家 的 意见 ， 得 到 的 反馈 如 下 : 
Catby 说 ， 他 和 Dave 商 量 的 时 间 周 四 。 

Ben 说 ， 他 和 Dave 商 量 的 时 间 是 周三 。 


此 时 恰好 联系 不 上 Dave， 而 且 不 知道 Catby 和 Ben 分 别 与 Dave 人 确定 时 间 
的 先后 顺序 。 


Alice 束 不 能 确定 到 的 该 定 在 哪 一 天 了 。 


类 似 的 事情 经 常会 发 生 。 当 你 同 两 个 或 几 个 人 问 一 些 消 息 时 ， 返 回 的 
内 容 往往 不 一 样 ， 而 且 你 不 知道 哪个 是 最 新 的 。Vector Clock 就 是 为 了 


解决 这 种 问题 而 设计 的 ， 人 简单 来 说 ， 丈 是 为 每 一 个 商议 结 来 附 上 一 个 
时 间 鹤 ， 当 结果 改变 时 ， 更 新 时 间 鹤 。 加 上 时 间 礁 后 ， 我 们 再 一 次 搬 
述 上 面 的 场景 ， 如 下 。 


当 Alice 第 一 次 提议 将 时 间 定 为 周三 时 ， 可 以 这 样 描述 这 个 信息 : 


data = Wednesday 


vclock = Alice:1 


vclock 束 是 这 条 消 和 起 的 Vector Clock，Alice:1 表 示 这 是 从 Alice 发 出 的 第 
一 个 版 本 。 接 着 ，Dave 和 Ben 商 量 将 时 间 改 为 周二 ，Ben 发 给 Dave 的 消 
已 如 下 : 


data = Tuesday 


vclock = Alice:1, Ben:1 


注意 \Ben 这 条 少 息 保留 了 Alice 的 记录 ， 同 时 加 上 了 上 自己 的 记录 。Ben:1 
代表 这 是 Ben 第 一 次 修改 的 记录 。 接 着 Dave 收 到 Ben 的 消息 ， 并 同意 将 
时 间 改 为 周二 ， 他 回 给 Ben 的 消息 如 下 : 


data = Tuesday 


vclock = Alice:1, Ben:1, Dave:1 


这 条 许昌 筷 . 同 样 保 留 了 原来 已 有 的 vclock 记 录 ， 同 时 加 上 了 自己 的 记 
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另 一 方面 ，Catby 收 到 Alice 的 消息 ， 打 算 与 Dave 商 量 将 时 间 改 为 周 
四 ， 于 是 他 发 送 如 下 消息 给 Dave: 


data = Thursday 


vclock = Alice:1, Catby:1 


看 到 这 里 你 可 能 会 奇怪 ， 为 什么 vclock 中 没有 了 之 前 的 Ben 和 Dave 的 记 
录 了 ? 这 是 因为 Ben 和 Dave 商 量 的 时 候 Catby 并 不 知道 这 个 情况 。Catby 
手中 的 信息 还 是 Alice 最 初 发 送 的 那 份 。 这 样 当 Dave 收 到 来 目 Catby 的 
消息 时 束 发 现 有 冲突 了 “。Dave 手 中 的 两 份 信息 如 下 : 


date = Tuesday 
vclock = Alice:1, Ben:1, Dave:1 
date = Thursday 


vclock = Alice:1, Catby:1 


Dave 通 过 比 对 两 份 消息 的 vclock 可 以 发 现 冲 突 ， 这 是 因为 上 面 两 个 版 
本 的 vclock 都 不 是 对 方 的 “祖先 ”。 其 中 vector clock 对 祖先 的 定义 是 这 样 
的 : 对 于 vclock A 和 vclock B， 当 且 仅 当 A 中 的 每 一 个 标记 ID 都 存在 于 
B 中 ， 同 时 A 中 对 应 的 标记 有 版 本 号 要 小 于 等 于 B 时 ，vclockA 才 是 
vclockB 的 祖先 。 如 果 标 记 ID 不 存在 ， 可 以 认为 标记 版 本 号 为 0。 


Dave 通 过 对 比 vclock 发 现 了 版 本 冲突 ， 于 是 尝试 解决 冲突 。 两 个 版 本 
0 他 选择 了 时 间 为 周 四 的 ， 那 么 这 条 消息 可 以 表示 


date = Thursday 


vclock = Alice:1, Ben:1, Catby:1, Dave:2 


Dave 在 vclock 中 加 上 了 两 个 消息 中 的 全 部 标记 ID (Alice、Ben、Catby 
和 Dave) ， 同 时 将 自己 对 应 的 版 本 号 加 1， 然 后 将 这 条 消息 发 送 给 
Catby。 


最 后 ， 当 Alice 从 Catby 和 Ben 收 集 反 馈 消息 时 〈 此 时 Dave 联 系 不 上 ) ， 
收 到 如 下 消 妃 。 


来 上 自 Ben 的 : 


data = Thursday 


vclock = Alice:1, Ben:1, Dave:1 


来 目 Catby 的 : 


data = Thursday 


vclock = Alice:1, Catby:1, Ben:1, Dave:2 


这 时 Alice 从 Catby 的 消 恩 束 可 看 出 ，Dave 后 来 改变 主意 了 。 


到 这 里 ， 我 们 来 介绍 一 些 分 布 式 环境 下 的 与 事务 相关 的 算法 和 实践 。 
从 工程 上 来 说 ， 如 果 能 够 避免 分 布 式 事务 的 引入 ， 那 么 还 是 避免 为 
好 ; 如 果 一 定 要 引入 分 布 式 事务 ， 那 么 ， 可 以 考虑 最 终 一 致 的 方法 ， 
而 不 要 追求 强 一 致 。 而 且 从 实现 上 来 说 ， 我 们 是 通过 补偿 的 机 制 不 断 
重 试 ， 让 之 前 因为 异常 而 没有 进行 到 底 的 操作 继续 进行 ， 而 不 是 回 
如 果 还 不 能 满足 需求 ， 那 么 基于 Paxos 算 法 的 实现 会 是 一 个 不 错 的 
选择 。 


5.1.4 ”多 机 的 Sequence 问 题 与 处 理 


当 转 变 为 水 平分 库 时 ， 原 来 单 库 中 的 Sequence 及 自 增 Id 的 做 法 需要 改 
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在 大 家 比较 熟悉 的 Oracle 里 ， 提 供 对 Sequence 的 文 持 ， 在 MySQL 里， 
提供 对 Auto Increment 字 段 的 文 持 ， 我 们 都 能 很 容易 地 实现 一 个 目 增 的 
不 重复 Id 的 序列 。 在 分 库 分 表 后 ， 这 融 成 了 一 个 难题 。 我 们 可 以 从 下 
面 两 个 方向 来 思考 和 解决 这 个 问题 : 


。 唯一 性 
。 连续 性 


如 果 我 们 只 是 考虑 Id 的 唯一 性 的 话 ， 那 么 可 以 参考 UUID 的 生成 方式 ， 

或 者 根据 自己 的 业务 情况 使 用 各 个 种 子 (不 同 维度 的 标识 ， 例 如 IP、 
MAC、 机 器 名 、 时 间 、 本 机 计数 器 等 因素 ) 来 生成 唯一 的 1d。 这 样 生 
成 的 Id 虽然 保证 了 唯一 性 ， 但 在 整个 分 布 式 系统 中 的 连续 性 不 好 。 


接 下 来 看 看 连续 性 。 这 里 说 的 连续 性 是 指 在 整个 分 布 式 环境 中 生成 的 
Id 的 连续 性 。 在 单机 环境 中 ， 其 实 就 十 一 个 单 点 来 完成 这 个 任务 ,在 
分 布 式 系统 中 ， 我 们 可 以 用 一 个 独立 的 系统 来 完成 这 个 工作 。 


这 里 提供 一 个 实现 方案 我 们 把 所 有 Id 集 中 放 在 一 个 地 方 进行 管理 ， 
对 每 个 Id 序列 独立 管理 ， 每 台 机 需 使 用 Id 时 都 从 这 个 Id 生成 右上 取 。 这 
里 有 如 下 几 个 关键 问题 需要 解决 。 


。 性 能 问题 。 每 次 都 远程 取 Id 会 有 资源 损耗 。 一 种 改进 方案 是 一 次 
取 一 段 ld， 然 后 缓存 在 本 地 ， 这 样 束 不 需要 每 次 部 去 远程 的 生成 
器 上 取 Id 了 。 但 是 也 会 带 来 问题 : 如 果 应 用 取 了 一 段 I4， 正 在 用 
时 完全 宕 机 了 ， 那 么 一 些 Id 号 就 浪费 不 可 用 了 。 

。 生成 万 的 稳定 性 问题 。Id 生 成 器 作为 一 个 无 状态 的 集群 存在 ， 其 
可 用 性 要 靠 整个 集群 来 保证 。 

。 存储 的 问题 。 这 确实 是 需要 去 考虑 的 问题 ， 压 层 存 储 的 选择 空间 

较 大 ， 需 要 根据 不 同类 型 进行 对 应 的 容 灾 方案 。 下 面 介绍 两 种 方 


如 图 5-9 所 示 ， 我 们 在 底层 使 用 一 个 独立 的 存储 来 记录 每 个 Id 序列 当前 
的 最 大 值 ， 并 控制 并 发 更 新 ， 这 样 一 来 Id 生成 万 的 逻辑 吕 很 简单 了 。 


图 5-9 ”独立 Id 生成 器 方式 


一 种 改变 是 直接 把 Id 生成 侨 舍 挥 ， 把 相关 的 逻辑 放 到 需要 生成 1d 的 应 
用 本 里 束 行 了 。 也 束 是 说 ， 去 挥 应 用 和 存储 之 间 的 这 个 独立 部 署 的 生 
成 融 ， 而 在 每 个 应 用 上 完成 生成 右 要 做 的 工作 ， 即 读 取 可 用 的 1d 或 者 
Id 段 ， 然 后 给 应 用 的 请 求 使 用 ， 如 图 5-10 所 示 。 


图 5-10 ”生成 器 租 入 到 应 用 的 方式 


不 过 因为 图 5-10 中 的 方式 没有 中 心 的 控制 节点 ， 并 且 我 们 不 希望 生成 
器 之 间 还 有 通信 (这 会 使 系统 非常 复杂 ) ， 因 此 数据 的 Jd 并 不 是 严格 
按照 进入 数据 库 的 顺序 而 增 大 的 ， 在 管理 上 也 需要 有 额外 的 功能 ， 这 
些 是 需要 权衡 之 处 。 


5.1.5 ”应 对 多 机 的 数据 查询 


5.1.5.1 ”路 库 Join 
解决 了 Sequence 的 问题 ， 我 们 接 下 来 看 看 Join 的 问题 。 


在 分 库 后 ， 如 果 需 要 Join 的 数据 还 在 一 个 库 里 面 ， 那 束 可 以 直接 进行 
Jion 操 作 。 例 如 ， 我 们 根据 用 户 的 Id 进 行 用 户 相 关 信 息 的 分 库 ， 那 么 如 
条 查询 某 个 用 户 在 不 同 表 中 的 一 些 关 联 信息 ， 还 是 可 以 进行 Join 操 作 
的 。 如 果 需 要 Join 的 数据 已 经 分 布 在 多 个 库 中 了 ， 那 就 需要 完成 路 库 
的 Join 控 作 ， 这 会 比较 矿 烦 ， 解 决 的 思路 有 如 下 几 种 。 


。 在 应 用 层 把 原来 数据 库 的 Join 操 作 分 成 多 次 的 数据 库 操 作 。 举 个 
例子 ， 我 们 有 用 户 基本 信息 的 数据 表 ， 也 有 用 户 出 售 的 商品 的 信 
息 表 ， 需 求 是 查 出 来 登记 手机 号 为 138XXXXXXXX 的 用 户 在 售 的 
商品 总 数 。 这 在 单 库 时 用 一 个 SQL 的 Join 束 解决 了 ， 而 如 果 商 品 
信息 与 用 户 信息 分 开 了 ， 我 们 就 需要 先 在 应 用 层 根据 手机 号 找到 
用 户 Id4， 然 后 再 根据 用 户 Id 找到 相关 的 商品 总 数 。 

。 数据 元 余 ， 也 就 是 对 一 些 常 用 信息 进行 元 余 ， 这 样 就 可 以 把 原来 
需要 Join 的 操作 变 为 单 表 查询 。 这 需要 结合 具体 业务 场景 。 

。 借助 外 部 系统 〈 例 如 搜索 引擎 ) 解决 一 些 跨 库 的 问题 。 


5.1.5.2 “外 键 约 束 

外 键 约束 的 问题 比较 难 解决 ， 不 能 完全 依赖 数据 库 本 身 来 完成 之 前 的 
功能 了 。 如 果 要 对 分 库 后 的 单 库 做 外 键 约 束 ， 就 要 求 分 库 后 每 个 单 库 
的 数据 是 内 聚 的 ， 否 则 就 只 能 靠 应 用 层 的 判断 、 容 错 等 方式 了 。 


5.1.5.3 ”路 库 查 询 的 问题 及 解决 
1. 数据 库 分 库 分 表 的 演化 


我 们 接 下 来 看 一 下 合并 查询 的 问题 。 合 并 大 询问 题 产 生 的 根源 在 于 我 
们 在 进行 水 平分 库 分 表 时 ， 把 一 张 逻辑 上 的 表 分 成 了 多 张 物理 上 的 
表 。 例 如 ， 我 们 有 一 个 用 户 信息 表 ， 根 据 用 户 Id 进行 分 库 分 表 后 ， 物 
理 上 束 会 分 成 很 多 用 户 信 息 表 ， 如 图 5-11 所 示 。 


图 5-11 ”数据 分 库 分 表 的 变化 


从 图 5-11 可 以 看 到 ， 最 初 用 户 信 息 保 存在 一 个 数据 库 中 (最 左边 的 部 
分 上 ; 然后 进行 了 分 库 ， 变 为 了 两 个 库 《中 间 的 部 分 ) ， 这 两 个 库存 
储 不 同 的 用 户 信 息 ， 二 者 加 起 来 等 于 最 初 的 那个 库 ; 然后 又 进行 了 分 
表 (右边 的 部 分 |) ， 也 就 是 在 每 个 库 里 面 又 把 数据 拆 为 了 两 张 表 ， 这 
两 个 库 中 四 张 表 的 数据 加 在 一 起 等 于 最 左边 那个 库 中 的 数据 。 


从 逻辑 概念 上 来 说 ， 用 户 信 息 应 该 放 在 一 起 存储 ， 然 而 随 着 数据 量 、 
访问 量 的 上 升 ， 知 要 经 历 分 库 分 表 ， 此 时 用 户 信息 在 物理 上 古 分 布 在 
多 个 数据 库 的 多 张 表 中 的 ， 也 就 是 说 一 张 逻辑 上 的 表 对 应 了 多 张 物 理 
上 的 表 ， 在 应 用 中 ， 对 这 张 逻辑 表 的 查询 束 需 要 做 跨 库 跨 表 的 合并 
了 。 这 个 场景 和 前 面 的 跨 库 Join 还 不 同 ， 跨 库 Join 古 在 不 同 的 逻辑 表 之 
间 的 Join， 在 分 库 后 这 些 Join 可 能 需要 路 多 个 数据 库 ， 而 我 们 现在 看 到 
的 合并 查询 是 针对 一 个 逻辑 表 的 查询 操作 ， 但 因为 物理 上 分 到 了 多 个 
库 多 个 表 ， 因 而 产生 了 数据 的 合并 查询 。 


2. 从 具体 例子 看 分 库 分 表 后 查询 的 问题 
来 看 一 个 具体 的 例子 ， 假 设 我 们 有 下 面 这 样 一 个 用 户 表 (如 表 5-1 所 
示 ) ， 我 们 需要 找到 某 一 (或 某 些 ) 省 份 中 符合 一 定年 龄 范围 的 用 
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表 5-1 用 户 表示 例 


Gender Mobile Province City Address 
男 浙江 杭州 XXXX 


xx Wx 
在 单 表 时 ， 这 是 一 个 非常 普通 的 查询 ， 而 分 库 分 表 后 ， 我 们 可 能 会 遇 


如 条 旦 按照 地 域 分 库 分 表 ， 束 旦 说 同一 省 份 的 用 户 信息 分 在 同一 数据 
库 的 同一 个 表 中 ， 那 么 这 个 问题 束 变 为 一 个 单 库 单 表 的 问题 了 。 如 图 
5-12 所 示 ， 我 们 按 省 进行 了 分 库 ， 单 个 省 的 所 有 用 户 信息 都 在 同一 个 
库 中 ， 所 以 在 查询 时 ， 确 定 了 省 束 确 定 了 唯一 对 应 的 数据 库 和 表 ， 整 
如 同 没有 进行 分 库 分 表 的 情况 。 


图 5-12 ”数据 分 库 


如 采 在 这 个 基础 上 我 们 又 对 库 进 行 了 分 表 ， 该 怎么 办 ? 如 图 5-13 所 
示 。 这 时 ， 如 果 我 们 要 查询 某 一 个 省 的 用 户 信 息 ， 那 么 还 是 与 单 库 单 


表 的 情况 相同 ;如 果 查 询 多 个 省 的 用 户 信息 ， 那 么 就 可 能 要 跨 库 ( 例 
如 province in (“浙江 ,上 海 ') ) ， 也 可 能 在 一 个 库 中 跨 表 (例如 


province in (人 浙江 ’, 河 南 ’) ) 。 


图 5-13 ”数据 分 库 分 表 


在 这 样 的 情况 下 ， 束 需要 对 查询 结 来 在 应 用 上 进行 合并 ， 这 相对 比较 
简单 ， 但 是 在 一 些 场景 下 需要 进行 较为 复杂 的 操作 ， 介 绍 如 下 。 


(1) 排序 ， 即 多 个 来 源 的 数据 查询 出 来 后 ， 在 应 用 层 进行 排序 的 工 
作 。 如 琳 从 数据 库 中 查询 出 的 数据 是 已 经 排 好 序 的 ， 那 么 在 应 用 层 要 
0 如 果 查 询 出 的 数据 未 排序 ， 束 要 进行 
一 个 全 提 / 子 。 


(2) 函数 处 理 ， 即 使 用 Max、Min、Sum、Count 等 函数 对 多 个 数据 来 
源 的 值 进行 相应 的 函数 处 理 。 


(3) 求 平 均值 ， 从 多 个 数据 来 源 进行 查询 时 ， 需 要 把 SQL 改 为 查询 
Sumn 和 Count， 然 后 对 多 个 数据 来 源 的 Sum 求 和 、Count 求 和 后 ， 计 算 
平均 值 ， 这 是 需要 注意 的 地 方 。 


(4) 非 排 序 分 页 ， 这 需要 看 具体 实现 所 采取 的 策略 ， 是 同等 步 长 地 在 
多 个 数据 源 上 分 页 处 理 ， 还 是 同等 比例 地 分 页 处 理 。 同 等 步 长 的 意思 
征 ， 分 页 的 每 页 中 ， 来 目 不 同 数据 源 的 记录 数 是 一 样 的， 同等 比例 的 
意思 是 ， 分 页 的 每 页 中 ， 来 目 不 同 数据 产 的 数据 数 占 这 个 数据 源 符合 
条 件 的 数据 总 数 的 比例 是 一 样 的。 举例 说 明 如 下 。 


如 图 5-14 所 示 ， 假 设 我 们 有 两 个 数据 源 ， 符 合 条 件 的 记录 数 分 别 是 16 
条 和 8 条 。 如 果 进 行 每 页 4 条 数据 的 分 页 ， 则 前 面 四 页 中 会 包含 两 个 数 
据 来 源 的 各 两 条 数据 ， 到 第 五 页 和 第 六 页 时 ， 就 只 包含 第 一 个 数据 源 
中 的 数据 了 。 这 束 是 我 们 所 说 的 等 步 长 地 从 不 同 数据 源 中 获取 数据 。 
图 5-14 中 每 个 小 方 格 代表 了 一 条 数据 ， 其 中 的 数字 代表 该 条 信息 在 第 
儿 页 结 采 中 出 现 。 


mT TT TTT Ts Ts Ts Tele ToT 
图 5-14 ”多 数据 源 等 步 长 合并 数据 


我 们 再 来 看 一 下 等 比例 处 理 的 情况 ， 如 图 5-15 所 示 。 数 据 源 与 图 5-14 
中 的 相同 ， 假 设 要 进行 每 页 6 条 数据 的 分 页 ， 那 么 第 一 页 的 6 条 数据 是 
从 数据 源 1 取 4 条 ， 从 数据 源 2 取 2 条 ， 每 次 都 用 这 样 的 方式 ， 到 第 四 页 
时 ， 刚 好 把 两 个 数据 兰 中 的 数据 都 取 完 了 。 可 以 看 到 ， 每 次 取 数 据 
时 ， 从 数据 源 1 和 数据 源 2 取 出 的 数量 不 同 ， 但 是 占 各 目 数 据 源 总 量 的 
比例 是 相同 的 ， 因 此 用 相同 的 次 数 完 成 了 数据 的 获取 。 


[和 测 ] :| :| :2|2|212|3|a|a|a||414|4| 
图 5-15 ”多 数据 源 等 比例 合并 数据 
(5) 排序 后 分 页 ， 这 是 把 排序 和 分 页 放 在 一 起 的 情况 ， 也 是 最 复杂 的 
情况 ， 最 后 需要 呈现 的 结果 是 数据 按照 某 些 条 件 排序 并 进行 分 页 显 


示 。 我 们 的 数据 是 来 目 不 同 数据 源 的 ， 因 此 必须 把 足够 的 数据 返回 给 
和 才能 得 到 正确 的 结果 ， 复 淋 之 处 束 在 于 将 足够 的 数据 返 给 应 


来 看 一 下 图 5-16， 两 个 数据 源 中 符合 条 件 的 数据 已 经 排序 好 了 ， 假 设 
每 个 分 页 需要 4 条 数据 ， 那 么 从 图 中 可 以 看 到 ， 最 终 的 每 一 页 都 是 由 两 
个 数据 源 中 的 各 2 条 数据 组 成 。 那 惑 是 说 ， 我 们 每 一 页 都 从 两 个 数据 源 
中 各 选择 2 条 数据 束 行 了 。 不 过 ， 这 个 方法 古 不 正确 的 ， 只 是 这 个 特殊 
的 例子 碰巧 生效 而 已 。 


sam TTS 1 To TT oT ola]ls 
汪 尖 可 加 器 可 加 四 四 四 四 加 四 思 加 


图 5-16 ”内 部 排 好 序 的 数据 源 的 数据 


看 一 下 图 5-17 的 例子 ， 排 序 合并 后 的 第 一 页 是 由 来 目 两 个 数据 源 的 各 2 
条 数据 组 成 ， 排 序 合 并 后 的 第 二 页 是 全 部 来 目 数据 产 1 的 4 条 数据 ， 第 
三 页 则 是 由 两 个 数据 源 的 各 2 条 数据 组 成 ;而 第 四 页 十 由 来 目 数据 源 1 
的 1 条 数据 和 数据 源 2 的 3 条 数据 组 成 。 因 此， 我 们 要 从 数据 源 中 取 足 够 
多 的 数据 才能 保证 结 采 的 正确 。 


Bm | 1 | 3 | 5 | 5 | 7 | sl) sll lz) 
图 5-17 ”内 部 排 好 序 的 数据 源 的 数据 


在 取 第 一 页 结 末 时 ， 应 该 考虑 的 最 极端 情况 是 最 终 合 并 后 的 结 采 可 能 
都 来 目 一 个 数据 产 ， 所 以 我 们 需要 从 每 个 数据 源 取 足 一 页 的 数据 。 例 
如 ， 对 于 图 5-17 的 情况 ， 第 一 页 应 该 从 每 个 数据 源 取 4 条 数据 ， 然 后 把 
这 8 条 数据 在 应 用 中 进行 归并 排序 。 对 于 第 二 页 ， 不 是 把 每 个 数据 源 的 
第 二 页 取 回 来 进行 合并 排序 ， 而 是 需要 把 每 个 数据 产 的 前 两 页 也 就 十 
前 8 条 数据 都 取 回 来 进行 归并 排序 ， 才 能 得 到 正确 的 结 末 。 如 采 要 取 第 
100 页 的 数据 ， 束 要 从 每 个 数据 产 取 前 100 页 数据 进行 归并 排序 ， 才 能 
得 到 正确 的 结果 。 也 就 是 说 越 往 后 翻 页 ， 承 受 的 负担 越 重 。 


从 上 面 可 以 看 出 ， 排 序 分 页 是 合并 操作 中 最 复 洒 的 情况 了 ， 因 此 ， 在 
访问 量 很 大 的 系统 中 ， 我 们 应 该 尽量 避免 这 种 方式 ， 尤 其 是 排序 后 需 
要 翻 很 多 页 的 情况 。 
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5.2 ”数据 访问 层 的 设计 与 实现 
数据 访问 层 束 古方 便 应 用 进行 数据 读 / 写 访问 的 抽象 层 ， 我 们 在 这 个 层 
上 解决 各 个 应 用 通用 的 访问 数据 库 的 问题 。 在 分 布 式 系统 中 ， 我 们 也 
把 数据 访问 层 称 为 分 布 式 数据 访问 层 ， 有 时 也 简称 为 数据 层 。 


如 何 对 外 提供 数据 访问 层 的 功 
bl 


5.2.1.1 对 外 提供 数据 访问 层 的 方式 


数据 层 负责 解 决 应 用 访问 数据 库 的 各 种 共性 问题 ， 那 么 数据 层 会 以 怎 
样 的 方式 呈现 给 应 用 呢 ? 


第 一 种 方式 是 为 用 户 提 供 专 有 API， 不 过 这 种 方式 是 不 推荐 的 ， 它 的 
通用 性 很 差 ， 甚 至 可 以 说 没有 通用 性 。 一 般 来 说 采用 这 种 方式 是 为 了 
便于 实现 功能 ， 或 者 这 种 方式 对 一 些 通 用 接口 方式 有 比较 大 的 改动 和 
扩展 。 笔 者 的 第 一 个 版 本 的 数据 层 束 采用 了 专 有 API 的 方式 ， 当 时 使 
用 专 有 API 是 因为 它 便 于 实现 功能 ， 当 时 通过 专 有 API 让 使 用 者 传递 了 
比较 多 的 信息 ， 也 通过 API 中 的 参数 把 SQL 的 组 成 部 分 比较 显 式 地 区 分 
开 来 ， 绕 过 了 SQL 的 实现 。 即 便 采 用 专 有 API 方 式 ， 很 多 系统 也 会 同时 
提供 通用 的 访问 方式 〈 见 下 文 ) ， 以 便于 应 用 的 使 用 和 切换 。 


第 二 种 方式 是 通用 的 方式 。 在 Java 应 用 中 一 般 是 通过 JDBC 方 式 访问 数 
据 库 ， 数 据 层 自身 可 以 作为 一 个 JDBC 的 实现 ， 也 就 是 暴露 出 JDBC 的 
接口 给 应 用 ， 这 时 应 用 的 使 用 成 本 就 很 低 了 ， 和 使 用 远程 数据 库 的 
JDBC 张 动 的 方式 是 一 样 的 ， 迁 移 成 本 也 非常 低 。 


还 有 一 种 方式 是 基于 ORM 或 类 ORM 接 口 的 方式 ， 可 以 说 这 种 方式 介 
于 上 面 两 种 方式 之 间 。 应 用 为 了 开发 的 高 效 和 便捷 ， 在 使 用 数据 库 时 
一 般 会 使 用 ORM 或 类 ORM 框 架 ， 例 如 iBatis、hibernate 、Spring JDBC 
等 ， 我 们 可 以 在 自己 应 用 使 用 的 ORM 框 架 上 再 包装 一 层 ， 用 来 实现 数 
据 层 的 功能 ， 对 外 暴露 的 仍然 是 原来 框架 的 接口 。 这 样 的 做 法 对 于 某 
些 功能 来 说 实现 成 本 比较 低 ， 并 且 在 兼容 性 方面 有 一 定 的 优势 ， 例 如 


人 对 于 应 用 来 说 ，iBatis 之 上 的 封装 束 比 较 透 
本 


图 5-18 展 示 了 以 上 三 种 方式 的 结构 ， 从 左 到 右 依 次 是 采用 数据 层 专 有 
API 方 式 、 采 用 JDBC 方 式 ， 以 及 基于 某 个 ORM/ 类 ORM 接 口 的 方式 。 


数据 层 
ORM/ 类 ORM 接 口 


图 5-18 不 同 接口 数据 层 的 结构 


从 图 5-18 中 也 可 以 看 出 ， 通 过 JDBC 方 式 使 用 的 数据 层 是 兼容 性 和 扩展 
性 最 好 的 ， 实 现成 本 上 也 是 相对 最 高 的 。 "底层 封装 志 了 某 个 ORM 框 架 或 
者 类 ORM 框 架 的 方式 具备 一 定 的 通用 性 (不 能 提供 给 另外 的 ORM/ 类 
ORM 框 架 用 ) ， 实 现成 本 相对 JDBC 接 口 方式 的 要 低 。 而 采用 专 有 API 
的 方式 是 在 特定 场景 下 的 选择 。 

除了 对 外 提供 接口 的 方式 的 差别 ， 在 具体 场景 的 实现 上 也 会 有 差别 ， 
从 图 5-18 中 可 以 很 清楚 地 看 到 ， 专 有 API 的 方式 和 对 外 提供 JDBC 接 口 
的 方式 都 直接 使 用 了 下 层 数 据 库 提供 的 JDBC 驱 动 ， 因 此 更 加 灵活 ， 而 
基于 ORM/ 类 ORM 和 框架 的 方式 则 在 数据 层 0 隔 了 一 个 第 
三 方 的 ORM/ 类 ORM 框 架 ， 这 在 有 些 场景 下 会 造成 一 些 影响 。 


0 不 同 提供 方式 之 间 在 合并 查询 场景 下 的 


我 们 来 回顾 一 下 分 库 分 表 后 的 排序 分 页 的 场景 ， 我 们 需要 从 多 个 数据 
源 取 足够 的 数据 ， 然 后 才能 在 应 用 中 进行 归并 排序 。 对 于 前 面 的 第 三 
种 方式 ， 需 要 通过 ORM/ 类 ORM 框 架 才 能 得 到 数据 源 的 数据 ， 在 这 种 
情况 下 ， 我 们 束 需 要 把 足够 多 的 数据 都 加 载 到 内 存 中 。 例 如 ， 我 们 有 
两 个 数据 产 ， 要 做 一 个 分 页 查询 ， 每 页 20 条 数据 ， 这 时 如 采 查 看 第 10 
页 的 话 ， 束 需要 取 回 400 条 数据 并 生成 Java 对 象 ， 然 后 进行 归并 排序 ， 
丢弃 不 需要 的 数据 。 


相对 于 在 ORM/ 类 ORM 框 架 之 上 的 实现 ， 专 有 API 方 式 和 JDBC 方 式 都 
要 与 数据 库 的 JDBC 驱 动 直接 打交道 ， 而 且 为 了 得 到 正确 的 排序 分 页 结 
果 也 需要 获取 足够 的 数据 ， 但 是 和 使 用 ORM/ 类 ORM 框 架 不 同 的 是 ， 
0 0 
Javax' ° 


我 们 再 看 一 下 刚才 的 示例 数据 (如 图 5-19 所 示 ) ， 假 设 每 页 要 显示 4 条 
数据 。 如 果 采 用 ORM/ 类 ORM 框 架 的 方式 ， 获 取 第 一 页 时 ， 需 要 从 数 
据 源 1 获 取 13,5,7， 从 数据 源 2 获取 2,4,9,11， 这 8 个 数据 都 会 从 数据 库 中 
返回 并 生成 对 应 的 对 象 ， 进 行 归并 排序 后 ， 丢 弃 4 个 不 需要 的 对 象 。 
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图 5-19 ”内 部 排 好 序 的 数据 源 的 数据 


如 果 采 用 JDBC 的 方式 访问 ， 我 们 只 需要 生成 13 和 2,4 这 4 个 对 象 就 行 
了 ， 而 且 如 果 运 气 好 的 话 ， 从 数据 库 传 回来 的 对 象 也 会 少 ， 具 体 取决 
于 batch size 的 大 小 设置 (batch size 是 指 JDBC 张 动 实现 时 设置 的 每 次 从 
数据 库 返 回 的 记录 数 ， 要 考虑 平衡 网 络 的 开销 。 如 果 设 置 为 1， 则 每 次 
要 获取 下 一 条 数据 时 都 需要 与 数据 库 通 信 一 次 ; 如 果 设 置 得 大 一 些 ， 
则 一 次 会 取 回 多 条 记录 ， 减 少 了 跟 数 据 库 交互 的 次 数 ) 。 如 果 我 们 设 
置 batch size 的 值 为 1， 那 么 一 共 只 取 4 条 数据 就 行 了 ;， 如 果 设 置 为 2， 在 
这 个 例子 中 也 只 是 取 4 条 数据 就 行 了 。 因 为 我 们 直接 使 用 JDBC， 所 以 
可 以 对 多 个 数据 源 使 用 数据 结构 中 对 两 个 有 序 链表 进行 合并 排序 的 方 
式 ， 而 且 无 论 数 据 如 何 分 布 ， 我 们 最 多 只 会 浪费 一 个 生成 的 对 象 。 在 
实际 中 ， 每 页 都 会 有 数 十 条 数据 ， 在 获取 后 面 页 的 内 容 时 ， 直 接 基 于 
JDBC 的 优势 是 比较 明显 的 。 


此 外 ， 使 用 ORM/ 类 ORM 和 框架 可 能 会 有 一 些 框架 目 喘 的 限制 市 来 困 
难 。 例 如 ， 使 用 iBatis 的 同时 想 去 动态 改动 SQL 束 会 比较 困难 ， 而 这 在 
直接 基于 JDBC 驱 动 方式 的 实现 中 就 没有 那么 困难 。 


5.2.2 ”按照 数据 层 流 程 的 顺序 看 数据 
层 设计 

接 下 来 我 们 先 看 一 下 数据 层 整 体 的 流程 ， 如 图 5-20 所 示 ， 我 们 在 执行 
数据 库 操 作 时 大 致 是 按照 图 中 所 示 的 几 个 步骤 进行 的 。 
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图 5-20 ”数据 层 的 整理 流程 


5.2.2.1 SQL 解析 阶段 的 处 理 


在 具体 实践 中 ，SQL 解 析 主 要 考虑 的 问题 有 两 个 。 一 是 对 SQL 文 持 的 
程度 ， 是 否 需 要 文 持 所 有 的 SQL ， 这 需要 根据 具体 场景 来 做 决定 ; 二 
征文 持 多 少 SQL 的 方言 ， 对 于 不 同 厂商 超 出 标准 SQL 的 部 分 要 文 持 多 
少 。 这 些 问 题 没 有 标准 答案 ， 需 要 根据 实际 情况 去 做 选择 。 


具体 解析 时 是 使 用 antlr、javacc 还 是 其 他 工具 ， 束 看 自己 的 选择 了 ， 当 
然 也 可 以 目 己 手写 。 


在 进行 SQL 解析 时 ， 对 于 解析 的 缓存 可 以 提升 解析 速度 。 当 然 需要 广 
意 缓 存 的 容量 限制 ， 一 般 系 统 中 执行 的 SQL 数量 相对 可 控 ， 不 过 为 了 
安全 ， 解 析 的 缓存 需要 加 上 数量 上 限 。 


通过 SQL 解析 可 以 得 到 SQL 中 的 关键 信息 ， 例 如 表 名 、 字 段 、where 条 
件 等 。 而 在 数据 层 中 ， 一 个 很 重要 的 事情 是 根据 执行 的 SQL 得 到 被 操 
作 的 表 ， 根 据 参 数 及 规则 来 确定 目标 数据 源 连 接 。 


这 一 部 分 也 可 以 通过 提示 (hint) 的 方式 实现 ， 该 方式 会 把 一 些 要 素 
直接 传 进来 ， 而 不 用 去 解析 整个 SQL 语句 。 使 用 这 种 方式 的 一 般 情 况 
AE: 


。 SQL 解析 并 不 完备 〈 这 一 般 是 在 发 展 过 程 中 遇 到 的 问题 ) 。 
。 SQL 中 不 帝 有 分 库 条 件 ， 但 实际 上 是 可 以 明确 指定 分 库 的 。 


通过 SQL 解析 或 者 提示 方式 得 到 了 相关 信息 后 ， 下 一 步 殉 是 进行 规则 
处 理 ， 从 而 确定 要 执行 这 个 SQL 的 目标 库 。 


5.2.2.2 ”规则 处 理 阶 段 
1. 采用 固定 哈 希 算法 作为 规则 


固定 哈 希 的 方式 为 ， 根 据 某 个 字段 (例如 用 户 id) 取 模 ， 然 后 将 数据 
分 散 到 不 同 的 数据 库 和 表 中 。 除 了 根据 id 取 模 ， 还 经 常会 根据 时 间 维 
度 ， 例 如 天 、 星 期 、 月 、 年 等 来 存储 数据 ， 这 一 般 用 于 数据 产生 后 相 
关 日 期 不 进行 修改 的 情况 ， 否 则 就 要 涉及 数据 移动 的 问题 了 。 根 据 时 
间 取 模 多 用 在 日 志 类 或 者 其 他 与 时 间 维 度 密切 相关 的 场景 。 通 常 将 周 
0 这 样 进行 数据 备份 、 迁 移 或 现 有 数据 的 清空 都 
会 和 ° 


来 看 一 下 根据 id 取 模 的 例子 ， 如 图 5-21 所 示 。 


图 5-21 根据 id 取 模 的 例子 


图 5-21 展 示 的 就 是 固定 哈 硕 方式 的 分 库 方法 ， 如 果 又 要 分 表 ， 则 可 以 
按照 如 图 5-22 来 做 ， 如 下 。 


Table1 
(id mod 4 = 0) 


Table2 
(id mod 4 = 2) 


Table1 
(id mod 4=1) 


Table2 
(id mod 4 = 3) 


图 5-22 ”根据 id 分 库 分 表 的 例子 


从 图 5-22 中 可 以 看 到 ， 我 们 把 数据 分 到 了 两 个 数据 库 的 四 张 表 里 ， 首 
先 通 过 模 2 (mod 2) 确定 了 数据 的 分 库 ， 然 后 通过 模 4 (mod 4) 进行 
了 数据 库 内 部 的 分 表 。 这 个 过 程 也 可 以 做 一 些 变化 ， 如 图 5-23 所 示 。 


Table1 
(id mod 4=0) 


idmod2=2 Table2 
(idmod4=1) 


Table1 
(id mod 4 = 2) 


Table2 
(lid mod 4 = 3) 


图 5-23 ”通过 id 分 库 分 表 的 例子 (方式 2) 


idmod2>1 


同样 是 分 为 两 个 库 四 张 表 ， 不 同 的 是 这 里 直接 通过 模 4 (mod 4) 来 确 
定 了 分 库 ， 把 模 4 结 果 为 0 和 1 的 放 在 db1， 然 后 把 模 4 结 果 为 2 和 3 的 放 在 
db2， 这 样 得 到 的 最 终 数据 的 布局 与 前 面 一 种 不 同 。 至 于 要 怎么 分 布 数 
据 就 要 看 业务 需要 了 。 固 定 哈 希 的 规则 设置 和 实现 都 很 简单 ， 不 过 如 
果 扩 容 的 话 就 会 比较 复杂 。 例 如 上 面 的 例子 ， 如 果 从 原来 的 两 个 库 四 
张 表 扩 容 到 三 个 库 六 张 表 的 话 ， 那 么 只 有 那些 id 模 4 的 结果 和 id 模 6 的 
结果 相同 的 数据 不 用 迁移 ， 其 他 的 数据 都 要 迁移 (大 约 有 2/3 的 数据 要 


迁移 ) 
2. 一 致 性 哈 希 算法 带 来 的 好 处 


一 致 性 哈 希 (Consistent Hashing) ， 是 MIT 的 Karger 及 其 合作 者 在 1997 
年 发 表 的 学 术 论 文中 提出 的 ， 很 多 做 分 布 式 系统 的 读者 是 在 Amazon 的 
dynamo 论 文中 了 解 到 一 致 性 哈 硕 的 。 图 5-24 展 示 了 一 致 性 哈 希 的 合 
义 o 


一 致 性 哈 希 所 带 来 的 最 大 变化 是 把 节点 对 应 的 哈 希 值 变 为 了 一 个 范 
围 ， 而 不 再 是 离散 的 。 在 一 致 性 哈 希 中 ， 我 们 会 把 整个 哈 硕 值 的 范围 
定义 得 非常 大 ， 然 后 把 这 个 范围 分 配给 现 有 的 节点 。 如 果 有 广 点 加 
和 入， 那么 这 个 新 和 点 会 从 原 有 的 某 个 节点 上 分 管 一 部 分 范围 的 哈 硕 
值 ， 如 果 有 市 点 退出 ， 那 么 这 个 市 点 原来 管理 的 哈 希 值 会 给 它 的 下 一 
个 亏 点 来 管理 。 假 设 哈 希 值 范 围 是 从 0 到 100， 共 有 四 个 和 点 ， 那 么 它 
们 管理 的 范围 分 别 是 [0，25) 、 |25, 50) 、 [50, 75) 、 [75， 
100| 。 如 果 第 二 个 节点 退出 ， 那 么 剩 下 节点 管理 的 范围 就 变 为 |0， 
25) 、 [25, 75) 、 [75，100|] ， 可 以 看 到 ， 第 一 个 和 第 四 个 节点 管 
理 的 数据 没 影响 ， 而 第 三 个 节点 原来 所 管理 的 数据 也 没有 影响 ， 只 需 
要 把 第 二 个 下 点 负责 的 数据 接管 过 来 藉 行 了 。 如 果 是 增加 一 个 世 点 ， 
例如 在 第 二 个 和 第 三 个 直上 点 之 间 增 加 一 个 ， 则 这 五 个 节点 所 管理 的 苑 
围 变 为 [0, 25) 、 125，50) 、 |50, 63) 、 [63, 75) 、 [75， 
100|] ， 可 以 看 到 ， 第 一 个 、 第 二 个 、 第 四 个 节点 没有 受 影响 ， 第 三 个 
节点 有 部 分 数据 也 没 受 影响 ， 男 一 部 分 数据 要 给 新 增 的 节点 来 管理 。 


计算 hash 
和 
计算 hash 


计算 hash ea 计算 hash 


图 5-24 “一致 性 哈 希 


读 首 可 能 从 增加 市 点 和 减少 节点 的 例子 中 觉察 到 了 问题 ， 新 增 一 个 节 
扩 时 ， 除 了 新 增 的 让 点 外 ， 只 有 一 个 市 扣 受 影响 ， 这 个 新 增 市 点 和 受 
影响 的 让 态 的 负载 是 明显 比 其 他 市 点 低 的 ;减少 一 个 市 护 时 ， 除 了 减 
去 的 市 点 外 ， 只 有 一 个 节点 受 影响 ， 它 要 承担 自己 原来 的 和 减 去 的 市 
扩 的 工作 ， 压 力 明 显 比 其 他 广 点 要 高 。 这 似乎 要 增加 一 售 市 点 或 减 去 
一 半 市 点 才能 保持 各 个 市 点 的 负载 均衡 。 如 末 真 是 这 样 ， 一 致 性 哈 希 
的 优势 束 不 明显 了 。 


3. 虚拟 节点 对 一 致 性 哈 希 的 改进 


为 了 应 对 上 述 问题 ， 我 们 引入 虚拟 节点 的 概念 。 即 4 个 物理 太后 可 以 变 
为 很 多 个 虚拟 和 节点， 每 个 虚拟 让 点 文 持 连 续 的 哈 希 环 上 的 一 段 。 而 这 
时 如 采 加 入 一 个 物理 节点 ， 避 3 会 相应 加 入 很 多 虚拟 节操 ， 这 些 新 的 虚 
拟 世 点 是 相对 均匀 地 插入 到 整个 哈 希 环 上 的 ， 这 样 ， 束 可 以 很 好 地 分 
担 现 有 物理 节点 的 压力 了 ; 如 果 减 少 一 个 物理 证 点 ， 对 应 的 很 多 虚拟 
方太 整 会 失效 ， 这 样 ， 束 会 有 很 多 剩余 的 虚拟 方 扣 来 承担 之 前 虚拟 市 
点 的 工作 ， 但 是 对 于 物理 市 点 来 说 ， 增 加 的 负载 相对 是 均衡 的 。 所 以 
可 以 通过 一 个 物理 市 点 对 应 非常 多 的 虚拟 市 点 ， 并 且 同 一 个 物理 市 点 


的 虚拟 节点 尽量 均匀 分 布 的 方式 来 解决 增加 或 减少 节点 时 负载 不 均衡 
的 问题 。 


4. 映射 表 与 规则 目 定 义 计 算 方 式 


映射 表 且 根 据 分 库 分 表 字 段 的 值 的 查 表 法 来 确定 数据 产 的 方法 ， 一 般 
用 于 对 热点 数据 的 特殊 处 理 ， 或 者 在 一 些 场景 下 对 不 完全 符合 规律 的 
0 ° 负 见 的 情况 是 以 前 面 的 方式 为 基础 ， 配 合 映射 表 来 


最 后 要 介绍 的 规则 目 定义 计算 方式 是 最 灵活 的 方式 ， 它 已 经 不 算是 以 
配置 的 方式 来 做 规则 了 ， 而 是 通过 比较 复杂 的 函数 计算 来 解决 数据 访 
问 的 规则 问题 ， 可 以 说 十 扩展 能 力 最 强 的 一 种 方式 。 我 们 可 以 通过 目 
定义 的 函数 实现 来 计算 最 终 的 分 库 。 


举例 来 说 ， 假 设 根据 id 取 模 分 成 了 4 个 库 ， 但 是 对 于 一 些 热 点 id， 我 们 
希望 将 其 独立 到 男 外 的 库 ， 那 么 通过 类 似 下 面 的 表达 式 束 可 以 完成 : 


if (id in hotset)t{ 
return 4; 


} 


return id%4; 


5.2.2.3 “为 什么 要 改写 SQL 


前 面 介 绍 了 规则 对 分 库 分 才 的 支持 ， 如 何 设 定 规则 ， 也 束 是 如 何 分 库 
分 表 ， 没 有 绝对 统一 的 原则 ， 一 般 的 标准 是 分 库 后 尽 可 能 避免 跨 库 碍 
询 。 这 里 我 们 举 一 个 商品 的 例子 ， 如 表 5-2 所 示 。 


表 5-2 ”商品 信息 表示 例 


从 上 面 的 结构 可 以 看 到 ， 我 们 可 以 根据 商品 Id 分 库 ， 不 论 是 取 模 的 方 
式 还 是 一 致 性 哈 硕 的 方式 都 可 以 实现 ， 不 过 带 来 的 一 个 问题 是 ， 同 一 
个 卖家 的 商品 可 能 会 分 在 多 个 库 里 面 ， 如 果 要 从 数据 库 中 获取 同一 个 
卖家 的 商品 就 要 跨 库 。 


我 们 也 可 以 按照 卖家 Id 来 分 库 ， 这 样 可 以 保证 同一 个 卖家 的 商品 在 一 
个 数据 库 里 面 。 但 是 如 条 要 根据 商品 Id 进行 商品 查询 怠 麻 烦 了 ， 因 为 
只 有 商品 Id 是 不 能 确定 这 个 商品 在 哪个 数据 库 中 的 ， 还 需要 卖家 Id 或 
者 其 他 的 标志 才 可 以 确定 。 有 具体 采用 哪 种 标准 来 分 库 需 要 根据 具体 的 
需求 和 相关 系统 进行 综合 考虑 。 


对 于 应 用 给 数据 层 执行 的 SQL ， 除 了 根据 规则 确定 数据 源 外 ， 我 们 可 
能 还 需要 修改 SQL。 为 什么 要 修改 呢 ? 


想 想 我 们 遇 到 的 问题 ， 我 们 的 数据 表 从 原来 单 库 单 表 变 为 了 多 库 多 
表 ， 这 些 分 布 在 不 同 数据 库 中 的 表 的 结构 一 样 ， 但 是 表 名 未 必 一 模 一 
样 。 如 果 把 原来 的 表 分 布 在 多 库 且 每 个 库 都 只 有 一 个 表 的话 ， 那 么 这 
些 表 是 可 以 同名 的 ， 但 是 如 有 果 单 库 中 不 止 一 个 表 ， 那 瑟 不 能 用 同样 的 
名 字 ， 一 般 是 在 逻辑 表 名 后 面 增加 后 绥 ， 例 如 原来 的 表 名 为 User， 那 
么 分 库 分 表 后 的 表 束 可 以 命名 为 User_1、User_ 2 等。 


在 命名 表 时 有 一 个 需要 做 出 选择 之 处 ， 就 是 不 同 库 中 的 表 名 是 否 要 一 
样 ? 如 采 每 个 表 的 名 字 都 是 唯一 的 ， 看 起 来 似乎 不 太 优 雅 ， 但 是 可 以 
和 
| 。 


除了 修改 表 名 ，SQL 的 一 些 提 示 中 用 到 的 索引 名 等 ， 在 分 库 分 表 时 也 
0 0 
YY 子 O 


另外 ， 还 有 一 个 需要 修改 SQL 的 地 方 ， 束 是 在 进行 跨 库 计算 平均 值 的 
时 候 ， 不 能 从 多 个 数据 源 取 平均 值 ， 再 计算 这 些 平均 值 的 平均 值 ， 而 
必须 修改 SQL 获取 到 数量 、 总 数 后 再 进行 计算 。 


对 于 没有 经 过 SQL 解析 的 SQL ， 在 进行 SQL 从 换 时 要 特别 注意 ， 需 要 
对 各 种 情况 全 面 思考 ， 不 要 产生 错误 的 蔡 换 。 


5.2.2.4 ”如 何 选 择 数据 源 


接 下 来 讲 数据 产 的 选择 。 在 规则 部 分 我 们 已 经 确定 了 数据 源 ， 有 具体 一 
点 说 应 该 是 规则 可 以 帮助 确定 一 组 数据 源 ， 而 在 这 里 需要 确定 是 具体 
的 某 个 数据 源 。 


如 图 5-25 所 示 ， 在 User 经 历 了 分 库 分 表 后 ， 我 们 会 给 分 库 后 的 库 都 提 
供 备 库 ， 也 束 是 原来 的 一 个 数据 库 会 变 为 一 个 数据 库 的 矩阵 了 。 分 库 
征 把 数据 分 到 了 不 同 的 数据 分 组 中 。 我 们 决定 了 数据 分 组 后 ， 还 需要 
决定 访问 分 组 中 的 哪个 库 。 这 些 库 一 般 是 一 写 多 读 的 (也 有 多 写 多 读 
的 ) ， 根 据 当前 要 执行 的 SQL 特点 ( 读 、 写 ) 、 是 否 在 事务 中 以 及 各 
个 库 的 权重 规则 ， 计 算得 到 这 次 SQL 请 求 要 访问 的 数据 库 。 


User USEr USEr 
User 3 User 3 User 3 
Master Slave Slave 
User 4 User 4 User 4 
Master Slave Slave 


图 5-25 ”分 库 分 表 后 的 结构 


5.2.2.5 “执行 SQL 和 结果 处 理 阶段 

接 下 来 是 SQL 的 执行 和 执行 结果 的 处 理 。 在 SQL 执行 的 部 分 ， 比 较 重 
要 的 是 对 异常 的 处 理 和 判断 ， 需 要 能 够 从 异常 中 明确 判断 出 数据 库 不 
可 用 的 情况 。 而 关于 执行 结果 的 处 理 ， 在 之 前 一 些 特殊 情况 中 都 已 经 
提 及 ， 这 里 不 再 重复 了 。 

5.2.2.6 ”实战 经 验 分 诗 

1. 复杂 的 连接 管理 


前 面 介绍 了 SQL 的 执行 ， 而 在 数据 层 的 实现 中 ， 除 了 顺序 地 看 到 SQL 
的 执行 外 ， 连 接管 理 方面 也 是 非常 复杂 的 。 


下 面 的 代码 是 使 用 JDBC 进 行 SQL 操 作 的 一 个 简单 示例 代码 ， 其 中 没有 
考虑 处 理 异 常 的 情况 。 我 们 在 前 面 看 到 的 从 SQL 解析 开始 的 执行 ， 其 
实 只 相当 于 这 段 代 码 中 executeQuery 的 部 分 ， 而 在 执行 前 生成 的 
Connection 对 象 、PreparedStatement 对 象 都 是 数据 层 目 己 的 实现 。 这 些 
实现 都 需要 遵守 JDBC 的 规范 ， 有 具体 的 实现 还 是 很 有 挑战 的 。 


String sql = "select name from user where id = ?"， 
Connection conn = this.getConnection( ); 
PreparedStatement ps = conn.prepareStatement(sq1l); 
ps.setInt(1, 11); 

ResultSet rs = ps.executeQuery(); 

ps.close( ); 


conn.close( ) ; 


在 上 面 的 代码 中 ， 我 们 是 直接 执行 一 个 PreparedStatement 的 方法 ， 得 
到 结果 后 就 结束 了 了。 而 在 男 一 些 事务 场景 下 会 执行 多 个 
PreparedStatement 方 法 ， 这 要 求 在 PreparedStatement 具 体 执 行 SQL 时 ， 
需要 从 Connection 对 象 中 获取 同样 的 连接 ， 并 且 如 果 连 接 有 问题 要 报 
销 。 也 束 是 说 需要 对 异常 的 情况 有 全 面 的 考虑 ， 而 这 些 也 是 我 们 选择 
对 外 暴露 JDBC 接 口 的 一 个 代价 。 


2. 三 层 数据 源 的 支持 和 选择 
引入 数据 源 的 情况 ， 我 们 一 般 会 采用 Spring 做 如 下 的 配 


<bean id = "dataSource"class = "org.apache.commons ,dbcp ,Bas 
icDataSource" 


destroy-method = "close"> 


<property name = "driverClassName"value = "com.mysql.jd 


bc.Driver"/> 


<property name = "url"value = "jdbc:mysql://localhost:3 
306/sampledb"/> 


<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
</bean> 


上 面 是 使 用 Apache BasicDataSource 的 一 个 具 体 例子 ， 数 据 层 是 从 
DataSource 接口 开始 和 应 用 对 接 。 了 前 面 的 Connection 、 
PreparedStatement、Connection 对 象 外 ， 还 需要 实现 一 个 DataSource 对 
象 ， 如 图 5-26 所 示 。 


DataSource 


图 5-26 ”管理 整个 分 库 的 数据 源 


在 图 5-26 中 ，DataSource 管 理 了 分 库 以 后 的 整体 的 数据 库 ， 或 者 说 管理 
了 数据 库 集群 。 在 这 个 DataSource 的 实现 中 ， 完 成 了 前 面 介绍 的 数据 
层 的 全 部 工作 。 


在 使 用 上 ，DataSource 可 以 通过 Spring 的 方式 配置 到 应 用 中 ， 符 换 掉 前 
面 代码 中 的 BasicDataSoure。 从 前 面 的 例子 看 到 ， 配 置 DataSource 需 要 
设置 数据 库 的 驱动 (决定 了 数据 库 的 类 型 ， 例 如 ， 是 MySQL 还 是 
Oracle 或 者 其 他 的 数据 库 ) ， 以 及 数据 库 的 地 址 、 端 口 等 连接 用 信 
息 ， 此 外 还 要 设置 用 户 名 和 密码。 


如 果 使 用 这 个 数据 层 的 DataSource， 可 能 就 需要 如 下 配置 : 


<bean id = "dataSource"class = "org.vanadies.ddal. DataSour 


ce" 
destroy-method = "close"> 

<bean class = "org.vanadies.ddal.RuleManager"> 

<!- 根 据 不 同 的 规则 管理 实现 ， 会 有 不 同 的 属性 设置 

</bean> 

<property name = "dsList"> 

<list> 

<bean class = "org.vanadies.ddal.DbInfo"> 

<property name = "driverClassName"value = "com.mysqdl.jdbc.D 

river"/> 


<property name = "url"value = "jdbc:mysql://localh 
ost:3306/sampledb"/> 


<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User1-M/"> 
<property name = "type"value = "master"/> 
</bean> 
<bean class = "org.vanadies.ddal.DbInfo"> 
<property name = "driverClassName"value = "com.mysqdl.jdbc.D 
river"/> 
<property name = "url"value = "jdbc:mysql://localhos 


t:3306/sampledb"/> 


<property name = "username"value = "test"/> 


<property name = "password"value = "test"/> 


<property name = "id"value = "User1-S/"> 
<property name = "type"value = "slave"/> 
</bean> 
</list> 
</property> 
</bean> 


上 面 的 配置 信息 是 DataSource 所 需 的 信息 。 可 以 看 到 ， 配 置 还 是 比较 
多 的 ， 而 且 这 里 仅 配 置 了 两 个 库 ， 在 真实 场景 中 ， 分 库 后 的 数据 库 节 
点 数量 一 般 都 远 超 两 个 ， 配 置 量 会 非常 大 。 从 工程 角度 来 看 ， 我 们 可 
以 把 上 面 的 driverClassName、username 和 password 抽 取出 来 ， 做 成 一 
个 公共 配置 ， 当 然 这 会 要 求 同 一 个 业务 的 分 库 选 择 同样 的 数据 库 (一 
般 都 符合 ， 不 过 在 系统 迁移 或 者 更 换 不 同类 型 DB 的 过 涛 期 ， 可 能 会 
所 不 同 ) ， 设 置 同样 的 用 户 名 和 和 密码。 


即便 价 化 了 配置 ， 这 样 的 方式 还 古 有 不 足 的 地 方 ， 即 这 个 配置 在 所 有 
用 到 这 个 数据 库 集群 的 地 方 部 有 一 份 ， 如 有 果 发 生变 动 ， 更 新 会 比较 麻 
烦 。 在 具体 工程 实践 上 ， 可 以 把 配置 集中 在 一 个 地 方 管理 ， 这 样 使 用 
配置 的 应 用 束 可 以 去 配置 管理 中 心 获取 具体 配置 内 容 ， 修 改 时 只 需要 
修改 配置 管理 中 心中 的 值 就 可 以 了 。 配 置 管理 中 心 的 相关 内 容 会 在 后 
续 的 章 证 中 介绍 。 


这 个 管理 了 整个 业务 的 数据 库 集 群 的 DataSource 看 起 来 是 比较 优雅 
的 ， 是 一 个 all-in-one 的 解决 方案 。 但 是 在 具体 场景 中 ， 可 能 会 比较 重 

(不 够 轻 量 级 ) ， 业 务 应 用 没有 其 他 的 选择 ， 只 能 要 么 使 用 数据 层 的 
所 有 功能 ， 要 人 么 避 3 不 用 数据 层 。 大 家 再 看 看 前 面 数 据 库 集 群 的 图 ， 我 
们 是 可 以 对 这 个 完整 的 DataSource 的 功能 进行 分 层 的 ， 如 图 5-27 所 示 。 


DbGroup1 


groupDataSource 
groupDataSource 


图 5-27 管理 分 库 后 的 读 / 写 库 的 数据 源 


在 图 5-27 中 ， 我 们 对 原来 的 6 个 分 库 进行 了 分 组 ， 将 管理 同样 数据 的 数 
据 库 分 在 一 个 组 ，User 分 为 了 User1 和 User2 ， 其 中 User1-M 与 User1- 
S1、User1-S2 所 管理 的 数据 是 相同 的 (这 里 不 考虑 数据 复制 产生 的 延 
迟 ) ， 只 是 角色 不 同 ( 读 / 写 、 主 / 备 的 差异 ) 。User2-M、User2-S1、 
User2-S2 是 类 似 的 关系 。 


这 里 我 们 引入 了 groupDataSource， 也 就 是 分 组 的 DataSource， 用 于 管 
理 整 个 业务 数据 库 集 群 中 的 一 组 数据 库 。 从 图 5-27 可 以 看 到 ， 
groupDataSource 相 对 于 完整 的 DataSource 来 说 ， 可 以 不 管理 具体 的 规 
则 ， 也 可 以 不 进行 SQL 解 析 。 它 是 作为 一 个 相对 基础 的 数据 源 提供 给 
业务 的 ， 那 么 ，groupDataSource 重 点 解决 的 问题 是 什么 昵 ? 是 在 要 访 
问 这 个 分 组 中 的 数据 库 时 ， 解 决 具 体 访问 数据 库 的 选择 问题 ， 有 具体 的 
选择 蛇 略 是 groupDataSource 要 完成 的 重点 工作 ， 包 括 根 据 事务 、 读 / 写 
等 特性 选择 主 备 ， 以 及 根据 权重 在 不 同 的 库 间 进 行 选择 ， 我 们 来 看 
groupDataSource 的 配置 。 


DbGroup2 


一 全 


<bean id = "groupDataSourcei"class = "org.vanadies.ddal. Gr 
oupDataSource" 


destroy-method = "close"> 
<property name = "dsList"> 


<list> 


<bean class = "org.vanadies.ddal.DbInfo"> 


<property name = "driverClassName"value = "com.mysqdl.jdbc.D 
river"/> 
<property name = "url"value = "jdbc:mysql://localhos 
t:3306/sampledb"/> 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User1-M/"> 
<property name = "type"value = "master"/> 
</bean> 


<! 一 同 组 其 他 数据 库 配置 - -> 


</l1ist> 

</property> 

<bean id = "groupDataSource2"class = "org.vanadies.ddal. Gr 
oupDataSource" 

destroy-method = "close"> 
<property name = "dsList"> 
<list> 
<bean class = "org.vanadies.ddal.DbInfo"> 

<property name = "driverClassName"value = "com.mysqdl.jdbc.D 
river"/> 

<property n 


ame = "url" value = "jdbc:mysql://localhost:3306/sampledb"/> 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 


<property name = "id"value = "User2-M"/> 


<property name = "type"value = "master"/> 
</bean> 


<! 一 同 组 其 他 数据 库 配 置 - -> 


</list> 
</property> 


</bean> 


从 上 面 的 配置 可 以 看 到 ， 在 Spring 中 关于 groupDataSource 的 配置 已 经 
不 需要 配置 规则 相关 的 部 分 了 ， 而 对 数据 库 目 身 的 配置 与 之 前 是 类 似 
的 ， 并 且 是 通过 Spring 配 置 了 多 个 groupDataSource 给 应 用 ， 也 就 是 说 
应 用 完全 知道 有 几 个 数据 库 分 组 ， 并 且 在 应 用 内 部 决定 了 数据 访问 应 
该 走 的 分 组 ， 如 果 有 需要 库 分 组 的 工作 (例如 查询 合并 ) ， 是 需要 应 
用 自己 来 解决 的 。 


看 了 这 两 个 层面 上 的 DataSource， 读 者 应 该 会 发 现 ， 如 果 采 用 完整 的 
DataSource， 对 于 应 用 来 说 只 会 看 到 一 个 DataSource， 可 以 少 关 心 很 多 
事情 ， 不 过 可 能 会 受到 DataSource 本 身 的 限制 ; 如 果 采 用 
groupDataSource 会 有 更 大 的 目 主 权 。 如 采 采 用 完整 DataSource， 对 于 
后 端 业务 的 数据 库 集群 的 管理 会 更 方便 ， 例 如 我 们 可 以 进行 一 些 扩 
容 、 缩 容 的 工作 而 不 需要 应 用 太 多 的 感知 ， 而 使 用 groupDataSource 整 
意味 痢 绑 定 了 分 组 数量 ， 这 样 要 进行 扩容 、 缩 容 时 是 需要 应 用 进行 较 
多 配合 的 。 虽 然 使 用 groupDataSource 不 能 进行 整体 的 扩容 、 缩 容 ， 但 
是 可 以 进行 组 内 的 扩容 、 缩 容 、 主 备 切换 等 工作 ， 这 也 是 
groupDataSource 最 大 的 价值 。 在 一 些 活 动 或 者 可 预期 的 访问 高 峰 前 ， 
可 以 给 每 个 分 组 挂 载 上 备 库 ， 通 过 配置 管理 中 心 更 改 配置 ， 融 可 以 让 
应 用 使 用 新 的 数据 库 ， 同 样 ， 可 以 通过 配置 管理 中 心 的 配置 更 改 下 线 
数据 库 ， 以 及 进行 主 备 库 的 切换 。 


对 数据 源 分 组 之 后 ， 我 们 再 进行 数据 源 功 能 切 分 ， 构 建 
AtomDataSource。 从 图 5-28 中 可 以 清楚 地 看 到 ，AtomDataSource 仅 管 
理 一 个 具体 的 数据 库 。 很 多 读者 看 到 这 里 可 能 会 有 疑问 ， 只 管理 一 个 
具体 的 数据 库 使 用 各 种 第 三 方 库 提供 的 DataSource 的 实现 不 就 行 了 
吗 ， 为 什么 还 要 上 自己 在 数据 层 的 实现 中 提供 一 个 管理 单个 库 的 


AtomDataSource 呢 ? 


AtomDataSource AtomDataSource AtomDataSource 


im 


图 5-28 ”管理 单 库 的 数据 源 


在 本 小 市 刚 开 始 的 那个 例子 中 ， 我 们 看 到 了 使 用 Apache 
BasicDataSource 的 情况 ， 像 c3p0 这 样 的 开源 第 三 方 数 据 源 的 组 件 也 都 
可 以 通过 Spring 配置 或 者 应 用 中 的 代码 来 创建 实例 。 另 外 一 种 数据 源 
例如 在 JBoss 中 的 数据 源 配 置 束 古 一 个 例 


<datasources> 
<local-tx-datasource> 
<jndi-name>User1i-M</jndi-name> 


<connection- 
url>jdbc:mysql://localhost:3306/sampledb</connection-url> 


<driver-class>com.mysql.jdbc.Driver</driver-class> 


<user-name>test</user-name> 


<password>test</password> 
<exception-sorter-class- 
name>org.jboss.resource.adapter.jdbc.vendor.MySQLExceptionSorte 
r</exception-sorter-class-name> 


</local-tx-datasource> 


</datasources> 


可 以 看 到 ， 在 JBoss 容 右 中 ， 配 置 的 基本 信息 和 前 面 的 Spring 里 面 的 
Apache Basic-DataSource 的 配置 项 是 类 似 的 。 这 两 种 方式 的 最 大 缺点 都 
是 不 够 动态 ， 并 且 对 于 进行 SQL 执 行 的 降级 隔离 等 业务 稳定 性 方面 没 
有 很 多 的 文 持 。 


而 假如 我 们 通过 AtomDataSource 把 单个 数据 库 的 数据 源 的 配置 集中 存 
储 ， 那 么 在 定期 更 换 密 人 码 、 进 行 机 房 迁 移 等 需要 更 改 耳 地址 或 改变 端 
口 时 束 会 非常 方便 。 另 外 ， 通 过 AtomData-Source 也 可 以 帮助 我 们 完成 
和 以 及 禁止 某 些 SQL 的 执行 等 和 稳定 性 相 


所 以 我 们 需要 抽象 出 一 个 AtomDataSource， 关 于 AtomDataSource 的 
Spring 的 配置 方式 ， 除 了 增加 的 属性 外 ， 与 BasicDataSource 基 本 类 
似 ， 这 里 就 不 具体 给 出 了 。 


图 5-29 所 示 是 把 整体 DataSource 分 层 后 为 应 用 提供 的 三 层 数据 源 实现 ， 
应 用 可 以 根据 自己 的 需要 灵活 地 进行 选择 。 


AtomDataSource 


图 5-29 三 层 数 据 源 整体 视图 


独立 部 署 的 数据 访问 层 实现 方 
工 


接 下 来 ， 我 们 具体 看 一 下 数据 层 对 应 用 的 具体 呈现 方式 。 首 先 ， 从 数 
据 层 的 物理 部 署 来 说 可 以 分 为 jar 包 方式 和 Proxy 的 方式 ， 这 和 之 前 介绍 
服务 框架 时 是 很 类 似 的 。 


如 果 采 用 Proxy 方 式 的 话 ， 客 户 端 与 proxy 之 间 的 协议 有 两 种 选择 : 数 
据 库 协议 和 私有 协议 ， 如 图 5-30 所 示 ， 这 两 种 方式 各 有 优 劣 。 


图 5-30 ”独立 部 署 的 数据 访问 层 


采用 数据 库 协议 时 ， 应 用 就 会 把 Proxy 看 做 一 个 数据 库 ， 然 后 使 用 
数据 库 本 里 提供 的 JDBC 的 实现 束 可 以 连接 Proxy。 因 为 应 用 到 
Proxy、Proxy 到 DB 采用 的 都 是 数据 库 协 议 ， 所 以 ， 如 有 果 使 用 的 是 
同样 的 协议 ， 例 如 都 是 MySQL 协 议 ， 那 么 在 一 些 场景 下 天 可 以 诚 
少 一 次 MYSQL 协议 到 对 象 然后 再 从 对 象 到 MySQL 协 议 的 转换 。 
不 过 采用 这 种 方式 时 Proxy 要 完全 实现 一 套 相 天数 据 库 的 协议 ， 这 
人 
复 用 。 

采用 私有 协议 时 ，Proxy 对 外 提供 的 通信 协议 是 我 们 目 己 设计 的 
(这 就 类 似 我 们 在 上 一 章 看 到 的 服务 框架 中 使 用 的 协议 ) ， 并 且 
需要 一 个 独立 的 数据 层 客户 端 ， 这 个 协议 的 好 处 是 ，Proxy 的 实现 
会 相对 简单 一 些 ， 并 且 应 用 到 Proxy 之 间 的 连接 是 可 以 复 用 的 。 


图 5-31 所 示 是 一 个 基础 的 Proxy 的 结构 ， 可 以 看 到 ， 在 接 入 应 用 的 请 求 
部 分 提供 了 MySQL 协 议和 目 身 协议 两 种 方式 (这 里 用 MySQL 协 议 是 
为 了 举例 ) ， 而 在 连接 数据 库 的 部 分 ， 可 以 使 用 具体 协议 的 适配器 访 


回 ， 


也 可 以 用 数据 库 提 供 的 JDBC 驱 动 访问 。 直 接 使 用 数据 库 协 议 是 适 


配 的 方式 ， 更 加 灵活 ， 是 直接 在 协议 层 来 控制 数据 ， 也 能 够 实现 上 述 
少 一 次 转换 束 完 成 调用 的 工作 。 


Application 


\# 


MySQLProtocol Adapter/ 


Native Protocol Adapter 


SQL parser Result 


Merger 


图 5-31 ”数据 访问 层 内 部 结构 


5.2.4” 读 写 分 离 的 挑战 和 应 对 


接 下 来 我 们 看 一 下 读 写 分 离 部 分 会 遇 到 的 挑战 和 应 对 。 


图 5-32 所 示 是 一 个 第 见 的 应 用 使 用 读 写 分 离 的 场景 。 通 过 读 写 分 离 的 
方案 ， 可 以 分 担 主 库 (Master) 的 读 的 压力 。 这 里 面 存在 一 个 数据 复 
制 的 问题 ， 也 就 是 把 主 库 的 数据 复制 到 备 库 (Slave) 去 。 


图 5-32” 读 写 分 离 结构 


5.2.4.1 ” 主 库 从 库 非 对 称 的 场景 
1. 数据 结构 相同 ， 多 从 库 对 应 一 主 库 的 场景 


读者 对 MySQL 都 比较 熟悉 ， 通 过 MySQL 的 Replication 可 以 解决 复制 的 
问题 ， 并 且 延 迟 也 相对 较 小 。 在 多 从 库 对 应 一 主 库 的 情况 下 ， 业 务 应 
用 只 要 根据 自身 的 业务 特点 把 对 数据 延迟 不 太 敏 感 的 读 切 换 到 备 库 来 
进行 就 可 以 了 。 可 是 ， 如 果 我 们 遇 到 的 是 图 5-33 所 示 的 情况 呢 ? 我 们 
的 Slave 该 如 何 做 ? 数据 复制 又 该 如 何 做 呢 ? 


LI 本 
ese 三 OFRACLE” 小 型 机 高 端 存 储 


图 5-33 ”一 个 要 做 读 写 分 离 的 例子 


首先 来 看 Slave。 从 成 本 上 来 说 ，Slave 采 用 PC Server 和 MySQL 的 方案 
是 比较 划算 的 。 那 么 对 于 一 个 主 库 ， 需 要 多 台 采 用 MySQL 的 PC Server 
来 对 应 ， 每 台 PC Server 对 应 原来 Master 中 的 一 部 分 数据 ， 也 就 是 进行 
了 分 库 ， 如 图 5-34 所 示 。 


< 
Eis + ED + 


图 5-34 ”多 个 分 库 合 起 来 成 为 主 库 的 读 库 


0 下 面 介 绍 一 个 可 供 参 考 的 方案 ， 如 图 5- 
35 甩 不 。 


分 库 规 则 配置 


图 5-35 ”通过 消息 解决 数据 同步 的 方案 


从 图 5-35 可 以 看 到 ， 应 用 通过 数据 层 访 问 数 据 库 ， 通 过 消息 系统 殉 数 
据 库 的 更 新 送出 消 居 通 知 ， 数 据 同 步 服 务 右 获得 消 恩 通知 后 会 进行 数 
据 的 复制 工作 。 分 库 规则 配置 则 人 负责 在 读数 据 及 数据 同步 服务 右 更 狐 
分 库 时 让 数据 层 知道 分 库 规则 。 数 据 同 步 服 务 右 和 DB 主 库 的 交互 主要 
是 根据 被 修改 或 新 增 的 数据 主键 来 获取 和 内容， 采用 的 是 行 复制 的 方 


了 


可 以 说 这 是 一 个 不 优雅 但 是 能 够 解决 问题 的 方式 。 比 较 优 雅 的 方式 是 
基于 数据 库 的 日 志 来 进行 数据 的 复制 。 

2. 主 / 备 库 分 库 方 式 不 同 的 数据 复制 

数据 库 复 制 在 读 写 分 离 中 是 一 个 比较 关键 的 任务 。 一 般 情 况 下 进行 的 
征 对 称 的 复制 ， 也 束 是 镜像 ， 但 是 也 会 有 一 些 场景 进行 非 对 称 复制 。 
这 里 的 非 对 称 复 制定 指 源 数据 和 目标 数据 不 是 镜像 关系 ， 也 指 源 数 据 
库 和 目标 数据 库 是 不 同 的 实现 。 


我 们 来 看 一 个 例子 ， 如 图 5-36 所 示 。 


ml 


图 5-36 ”数据 分 库 条 件 不 同 的 数据 同步 


这 是 一 个 虚拟 的 订单 的 例子 。 在 主 库 中 ， 我 们 根据 买 家 id 进 行 了 分 
库 ， 把 所 有 买 家 的 订单 分 到 了 4 个 库 中 ， 这 保证 了 一 个 买 家 查询 目 己 的 
交易 记录 时 都 是 在 一 个 数据 库 上 得 询 的 ， 不 过 卖家 的 查询 承 可 能 跨 多 
个 库 了 。 我 们 可 以 做 一 组 备 库 ， 在 其 中 按照 卖家 id 进行 分 库 ， 这 样 卖 
家 从 备 库 上 查询 目 己 的 订单 时 束 都 症 在 一 个 数据 库 中 了 。 那 么 ， 这 吏 
需要 我 们 完成 这 个 非 对 称 的 复制 ， 需 要 控制 数据 的 分 发 ， 而 不 是 简单 
地 进行 镜像 复制 。 


3. 引入 数据 变更 平台 


复制 到 其 他 数据 库 是 数据 变更 的 一 种 场景 ， 还 有 其 他 场景 也 会 关心 数 
据 的 变更 ， 例 如 搜索 引擎 的 索引 构建 、 缓 存 的 失效 等 。 我 们 可 以 考虑 
构建 一 个 通用 的 平台 来 管理 和 控制 数据 变更 。 


如 图 5-37 所 示 ， 我 们 引入 Extractor 和 Applier，Extractor 负 责 把 数据 源 变 
更 的 信息 加 入 到 数据 分 发 平台 中 ， 而 Applier 的 作用 是 把 这 些 变更 应 用 
到 相应 的 目标 上 ， 中 间 的 数据 分 发 平台 是 由 多 个 管道 组 成 。 不 同 的 数 
据 变 更 来 源 需要 有 不 同 的 Extractor 来 进行 解析 和 变更 进入 数据 分 发 平 
台 的 工作 。 进 入 到 数据 分 发 平台 的 变更 信息 束 是 标准 化 、 结 构 化 的 数 
据 了 ， 根 据 不 同 的 目标 用 不 同 的 Applier 把 数据 落地 到 目标 数据 源 上 就 
可 以 了 。 因 此 ， 数 据 分 发 平台 构建 好 之 后 ， 主 要 的 工作 束 是 实现 不 同 
类 型 的 Extractor 和 Applier， 从 而 接 入 更 多 类 型 的 数据 源 。 


|Extractors | | 数据 分 发 平台 | Applier 


Piplelinel 1| MySQL | 
WH Applier 
| Pipleline2 ! File 


Applier 


| Pipleline3 1 
1 


PT | 


图 5-37 ”数据 变 


5.2.4.2 ”如 何 做 到 数据 平滑 迁移 


我 们 接 下 来 看 看 数据 库 的 平滑 迁移 。 对 于 没有 状态 的 应 用 ， 扩 容 和 缩 
容 是 比较 容易 的 。 而 对 于 数据 库 ， 扩 容 和 缩 容 会 涉及 数据 的 迁移 。 如 
果 接 受 完 全 俘 机 的 扩容 或 者 缩 容 ， 融 会 比较 容易 处 理 ， 停 机 后 进行 数 
据 迁 移 ， 然 后 校 验 并 且 恢 复 系 统 束 可 以 了 ; 但 是 如 宁 不 能 接受 长 时 间 
的 停机 ， 那 该 怎么 办 呢 ? 


对 数据 库 做 平 宰 迁移 的 最 大 挑战 是 ， 在 迁移 的 过 程 中 又 会 有 数据 的 变 
化 。 可 以 考虑 的 方案 是 ， 在 开始 进行 数据 迁移 时 ， 记 录 增 量 的 日 志 ， 
在 迁移 结束 后 ， 再 对 增 量 的 变化 进行 处 理 。 在 最 后 ， 可 以 把 要 被 迁移 
的 数据 的 写 和 暂停， 保证 增 量 日 志 都 处 理 完 毕 后 ， 再 切换 规则 ， 放 开 所 
有 的 写 ， 完 成 迁移 工作 。 


我 们 来 看 一 种 简单 的 情况 ,假设 数据 库 中 束 只 有 一 个 数据 表 ， 格 式 如 
表 5-3 所 示 。 


表 5-3 ”用户 信息 表示 示例 


id name age gender 


我 们 硕 望 根据 id 取 模 把 这 个 表 划 分 在 两 个 数据 库 中 ， 也 束 是 id mod 2 为 
0 的 还 在 原来 的 数据 库 表 中 ， 而 id mod 2 为 1 的 分 到 新 的 数据 库 表 中 。 
假设 我 们 只 有 4 条 数据 ， 我 们 来 看 一 下 前 面 描述 的 过 程 。 


(1) 首先 我 们 确定 要 开始 扩容 ， 并 且 开 始 记 录 数 据 库 的 数据 变更 的 增 
量 日 志 ， 如 图 5-38 所 示 。 


新 库 表 


图 5-38 ”开始 扩容 
这 时 增 量 日 志和 新 库 表 都 还 是 空 的 。 我 们 用 id 来 标识 记录 ， 用 v 标 识 版 
本 号 (这 不 是 数据 库 表 的 业务 字段 ， 而 是 我 们 为 了 讲 清楚 平滑 迁移 过 
程 而 加 上 的 标志 ) 。 


(2) 接 下 来 ， 数 据 开 始 复制 到 新 库 表 ， 并 且 也 有 更 新 进来 。 可 能 会 形 
成 如 图 5-39 所 示 的 局 面 。 


增 量 日 过 
id=1 update 
id=2 update 


id=3 update 


图 5-39 ”数据 开始 复制 到 新 库 表 


可 以 看 到 ，id=1 和 id=3 的 数据 已 经 在 新 库 表 中 了 ， 但 是 id=1 的 记录 
版 本 是 月 的 ， 而 id= 3 的 记录 版 本 已 经 是 新 的 了 。 


当 我 们 把 源 库 表 中 的 数据 全 部 复制 到 新 库 表 中 后 ， 一 定 会 出 现 的 情况 
0 4 0 
» 发 oO 


0 
9-40 所 不 。 


增 重 日 志 
id=1 update 
id=2 update 


id=3 update 
id=4 update 
id=3 update 


图 5-40 ”迁移 增 量 日 志 中 的 数据 
可 以 发 现 ， 这 个 做 法 并 不 能 够 保证 新 库 表 的 数据 和 源 库 表 的 数据 一 定 
一 致 的 ， 因 为 我 们 处 理 增 量 日 志 时 ， 还 会 有 新 的 增 量 日 志 进 来 ， 这 
一 个 逐渐 收敛 的 过 程 。 


(4) 然后 我 们 进行 数据 比 对 ， 这 时 可 能 会 有 新 库 数据 和 源 库 数据 不 同 
的 情况 ;把 它们 记录 下 米 * 


(5) 接着 我 们 停止 源 数据 库 中 对 于 要 迁移 走 的 数据 的 写 操作 ， 然 后 进 
行 增 量 日 志 的 处 理 ， 以 使 得 新 库 表 的 数据 十 新 的 。 


(6) 最 后 更 新 路 由 规则 ， 所 有 新 数据 的 读 或 写 就 到 了 新 库 表 ， 这 样 束 
完成 了 整个 迁移 过 程 。 


有 了 平 请 迁移 的 文 持 ， 我 们 在 进行 数据 库 扩 容 和 缩 容 时 融会 相对 标准 
化 和 容易 了 ， 人 否则 愁 介 每 次 的 扩容 都 要 变 成 一 个 项 目 才能 完成 了 。 


5.3 ”总 结 


Po 


本 章 的 最 后 我 们 再 回顾 一 下 数据 层 。 随 着 数据 量 、 访 问 量 的 增 大 ， 我 
们 会 对 数据 进行 分 库 分 表 ， 这 会 为 数据 访问 市 来 一 些 共性 问题 ， 数 据 
层 正 羡 为 此 而 产生 的 。 其 实 应 用 在 进行 数据 读 或 写 的 时 候 ， 不 仅 会 用 
到 数据 库 ， 还 会 用 到 分 布 式 文件 系统 、 缓 存 系统 、 搜 索 系 统 等 。 传 统 
上 来 说 ， 这 些 系 统 会 提供 不 同 的 API 给 应 用 ， 应 用 要 非常 清楚 目 己 要 
获取 的 数据 的 分 布 并 采用 不 同 的 API 处 理 。 可 以 考虑 的 一 种 策略 是 扩 
大 数据 层 的 履 盖 ， 把 这 些 不 同 来 源 的 数据 都 包装 在 数据 层 的 访问 之 
下 ， 对 外 提供 统一 的 接口 处 理 。 


另外 ， 我 们 知道 在 不 同 的 查询 场景 下 ， 会 使 用 不 同 的 方式 和 维度 来 构 
建 索引 以 提高 查询 速度 ， 这 些 对 于 使 用 来 说 都 是 透明 的 ， 结 合 数据 变 
更 通知 和 迁移 ， 可 以 实现 多 维度 多 形式 的 索引 和 一 定 限 制 条 件 下 的 分 
布 式 数据 库 。 


最 后 我 们 来 回顾 一 下 整个 数据 层 的 结构 图 ， 如 图 5-41 所 示 。 可 以 看 到 
应 用 有 多 种 远 择 ， 而 代理 层 除了 可 以 使 用 DB 的 native 的 API 方 式 外 ， 还 
可 以 像 应 用 一 样 使 用 各 种 方式 来 完成 工作 。 从 应 用 到 DB 层 吏 是 一 个 链 
式 的 处 理 过程 ， 并 且 多 数组 件 都 是 对 外 提供 JDBC 的 实现 ， 这 样 也 可 以 
方便 各 个 组 件 进行 殖 换 。 第 6 章 我 们 会 一 起 进入 消 轧 中 间 件 的 世界 。 


应 用 


Datasource | | Atom | JDBC : Native Proxy | 


ji Datasource | Driver } client | 


图 5-41 ”数据 层 的 结构 图 


第 6 章 ”消息 中 间 件 
6.1 消息 中 间 件 的 价值 
6.1.1 ”消息 中 间 件 的 定义 


有 了 服务 框架 和 数据 层 ， 已 经 可 以 解决 网 站 从 集中 式 走 同 分 布 式 过 程 
中 的 非 第 多 的 问题 了 ， 而 消息 中 间 件 可 以 说 是 需要 的 最 后 一 块 拼图 。 


0 (如 图 6-1 所 
时 


| | 


消息 中 间 件 


图 6-1 消息 中 间 件 


“Message-oriented middleware ( MOM ) is software infrastructure 
focused on sending and receiving messages between distributed systems.” 


从 传统 意义 上 讲 ， 消 乱 中 间 件 为 我 们 市 来 了 异步 的 特性 ， 对 系统 进行 
了 解 熄 ， 这 对 于 大 型 分 布 式 系统 来 说 有 非常 重要 的 意义 。 在 第 4 草 和 第 
5 章 中 ， 我 们 看 到 了 一 些 功能 对 于 消 轧 中 间 件 的 依赖 。 消 轧 中 间 件 本 身 
征 一 个 比较 宽泛 的 范畴 ， 在 本 章 中 ， 我 们 更 多 的 是 介绍 考虑 大 型 网 站 
人 并 且 会 与 Java 领 域 的 JMS 进 行 对 
比 。 


接 下 来 我 们 先 看 一 个 具体 的 例子 。 


6.1.2 ” 透 过 示例 看 消息 中 间 件 对 应 用 
的 解 精 

6.1.2.1 通过 服务 调用 让 其 他 系统 感知 事件 发 生 
的 方式 

假设 我 们 要 做 一 个 用 户 登 录 系 统 ， 其 中 需要 支持 的 一 个 功能 是 ， 用 户 


登录 成 功 后 发 送 一 条 短信 到 用 户 的 手机 ， 算 是 一 个 用 户 安全 的 选项 ， 
如 图 6-2 所 示 。 


图 6-2 登录 系统 直接 调用 短信 服务 
然后 ， 我 们 需要 把 用 户 登 录 的 信息 (时 间 、IP、 用 户 名 等 数据 ) 传 给 


我 们 的 安全 系统 ， 安 全 系统 会 进行 安全 人 党 略 相 关 的 处 理 和 判断 。 此 时 
的 结构 会 变 成 图 6-3 所 示 的 样子 。 


图 6-3 ”登录 系统 增加 对 安全 系统 的 直接 调用 


这 样 看 起 来 还 好 ， 但 是 如 果 再 增加 一 些 登 录 成 功 后 需要 被 调用 的 系统 
呢 ? 如 图 6-4 所 示 。 


图 6-4 ”登录 系统 增加 了 对 其 他 很 多 系统 的 直接 调用 


这 会 让 登录 系统 变 得 非常 复杂 。 每 增加 一 个 在 登录 成 功 后 需要 被 调用 
的 系统 ， 就 需要 修改 登录 系统 来 进行 相关 的 调用 。 优 雅 一 点 的 实现 是 
把 这 个 登录 成 功 后 的 服务 调用 变 为 一 种 可 扩展 的 配置 ， 甚 至 可 以 动态 
生效 ， 但 这 只 能 降低 变更 时 的 开发 和 部 署 成 本 ， 并 没有 降低 复杂 性 。 
登录 系统 要 被 担 依 赖 非常 多 的 系统 。 


6.1.2.2 ”通过 引入 消息 中 间 件 解 耦 服务 调用 


我 们 思考 一 下 ， 如 有 果 从 登录 系统 的 角度 来 看 ， 这 些 系统 是 登录 系统 必 
须 依赖 的 吗 ? 管 案 是 否定 的 ， 登 录 系 统 只 需要 验证 用 户 名 和 密码 的 合 
法 性 (也 许 还 会 包含 验证 码 等 登录 验证 合法 性 的 必需 要 素 ) ， 所 以 登 
永 系统 必须 依赖 的 是 能 够 提供 用 户 名 、 密 码 的 系统 ， 而 匈 6-4 中 的 系统 
其 实 都 不 是 登录 系统 必须 依赖 的 系统 。 相 反 ， 这 些 系统 是 必须 依赖 登 
杂 系 统 的 ， 因 为 它们 都 关心 登录 是 否 成 功 这 件 事 情 。 


在 这 样 的 场景 中 ， 我 们 需要 通过 消 恩 中 间 件 把 上 面 的 结构 解 帮 ， 上 面 
结构 中 的 服务 调用 将 会 被 固定 格式 的 消息 的 传递 所 取代 。 登 示 系 统 负 


责问 消 轧 中 间 件 发 送 消 息 ， 而 其 他 的 系统 则 回 消 轧 中 间 件 来 订阅 这 个 
消 轧 ， 然 后 完成 目 己 的 工作 ， 如 图 6-5 所 示 。 


短信 服务 


图 6-5 ”消息 中 间 件 对 服务 调用 进行 解 粳 


通过 消 居 中 间 件 解 粳 ， 登 录 系 统 束 不 用 关心 到 奔 有 多 少 个 系统 需要 知 
道 登 录 成 功 这 件 事 了 ， 也 不 用 关心 如 何 通 知 它们 ， 只 需要 把 登录 成 功 
这 件 事 转 化 为 一 个 消 乱 发 送 到 消 恩 中 间 件 束 可 以 了 。 这 样 ， 需 要 了 解 
登录 成 功 这 件 事 的 系统 目 己 去 消息 中 间 件 订阅 整 行 了 。 并 且 各 个 系统 
之 间 也 是 互 不 影响 的 。 


这 里 需要 注意 一 点 ， 就 是 当 登 录 成 功 时 需要 向 消息 中 间 件 发 送 一 个 消 
息 ， 那 么 我 们 必须 保证 这 个 消息 发 送 到 了 消息 中 间 件 ， 否 则 依赖 这 个 
消息 的 系统 就 无 法 工作 了 。 这 个 问题 有 一 个 不 太 优 雅 的 解决 方式 ， 如 
图 6-6 所 示 。 


Id | Name_| Password | age | gender | message_status | 


图 6-6 ”保证 消息 一 定 能 被 处 理 的 方式 


图 6-6 所 示 的 思路 是 ， 我 们 在 数据 库 中 记录 状态 ， 然 后 让 用 到 这 个 状态 
的 系统 目 己 来 得 。 这 个 记录 状态 的 数据 库 是 操作 中 一 定 会 依赖 的 数据 
库 ， 如 果 它 出 问题 就 会 导致 对 状态 的 记录 不 成 功 ， 业 务 操 作 也 束 不 会 
成 功 了 。 图 6-6 所 示 古 把 状态 记录 在 用 户 库 的 用 户 记 录 上 了 。 不 过 这 个 
例子 是 有 一 个 小 问题 的 ， 束 是 如 条 用 户 读 信息 时 数据 库 正 前 ， 这 时 束 
能 完成 密码 的 验证 ， 但 是 如 采 去 记录 状态 时 数据 库 不 可 用 ， 那 就 还 是 
有 问题 的 〈 后 面 我 们 会 看 到 如 何 解 决 ) 。 如 果 这 里 只 是 对 数据 库 的 写 
操作 的 话 ， 那 就 没有 问题 了， 例如 修改 用 户 信 息 的 操作 ， 那 么 是 可 以 
在 一 个 SQL 中 完成 用 户 信 息 的 更 改 并 设置 要 发 送 短信 这 个 状态 ， 这 样 
可 以 保证 操作 本 身 和 状态 更 新 的 原子 性 。 


对 于 需要 感知 状态 的 应 用 来 说， 需要 定时 轮 询 数据 库 以 查看 状态 ， 并 
且 在 做 完 操 作 后 ， 需 要 更 改 状 态 从 而 使 得 下 次 就 不 用 再 处 理 了 。 


可 以 说 这 是 一 个 能 解决 问题 的 work around 方 法 ， 实 现 也 比较 简单 。 不 
过 也 存在 以 下 几 个 问题 : 


。 增加 了 业务 数据 库 的 负担 。 一 个 状态 字段 所 占 的 空间 还 可 以 接 
受 ， 但 是 这 个 数据 库 需 要 被 其 他 系统 持续 地 定时 轮 询 ， 并 且 进 行 
更 新 ， 这 隋 大 大 增加 了 数据 库 的 负担 。 

。 依赖 的 复杂 和 不 安全 。 该 方案 使 得 发 送 短信 的 服务 要 依赖 业务 数 
据 库 ， 这 导致 依赖 复杂 并 且 不 合理 ， 男 外 ， 发 送 短信 的 服务 对 数 


据 库 记录 有 修改 的 权限 ， 这 也 不 安全 。 

。 扩 展 性 不 好 。 对 于 前 面 的 多 个 需要 在 业务 动作 成 功 后 来 做 后 续 工 
作 的 系统 ， 如 果 把 该 方式 用 于 这 样 的 系统 的 话 ， 我 们 惑 需要 增加 
很 多 个 字段 ， 或 者 使 这 些 字 段 变 得 可 共 译 义 相 互 不 能 影响 。 并 且 
会 增加 大 量 的 定时 对 业务 数据 库 的 轮 询 请 求 。 


对 于 这 些 问题 ， 我 们 也 期 望 通过 消 轧 中 间 件 来 解决 。 


6.2 互联 网 时 代 的 消息 中 间 件 


在 6.1 节 中 我 们 通过 例子 了 解 了 消息 中 间 件 的 价值 ， 接 下 来 我 们 着 重 介绍 
适合 互联 网 特点 的 消息 中 间 件 的 设计 。 


在 开始 介绍 互联 网 时 代 的 消息 中 间 件 前 ， 我 们 必须 讲 一 下 JMS。JMS 是 
Java Message Service 的 缩写 ， 它 是 Java EE (企业 版 Java) 中 的 一 个 关于 
消息 的 规范 ， 而 Hometd、ActiveMQ 等 产品 是 对 这 个 规范 的 实现 。 如 果 
是 企业 内 部 或 者 一 些小 型 的 系统 ， 直 接 使 用 JMS 的 实现 产品 是 一 个 经 济 
的 选择 ， 而 在 大 型 系统 中 有 一 些 场景 不 适合 使 用 JMS 。 


在 大 型 互联 网 中 ， 我 们 采用 消息 中 间 件 可 以 进行 应 用 之 间 的 解 耦 以 及 操 
作 的 异步 ， 这 是 消息 中 间 件 的 两 个 最 基础 的 特点 ， 也 正 是 我 们 需要 的 。 
在 此 基础 上 ， 我 们 着 重 思考 的 是 消息 的 顺序 保证 、 扩展 性 、 可 靠 性 、 业 
务 操作 与 消息 发 送 一 致 性 ， 以 及 多 集群 订阅 者 等 方面 的 问题 ， 这 些 内 容 
人 。 我 们 从 上 一 提 到 的 保证 消息 一 定 被 处 
全 介 乡 


6.2.1 ”如 何 解 决 消息 发 送 一 致 性 

6.2.1.1 消息 发 送 一 致 性 的 定义 

首先 ， 我 们 需要 和 弄 清楚 消息 发 送 一 致 性 究竟 是 什么 。 消 息 发 送 一 致 性 是 
指 产生 消息 的 业务 动作 与 消息 发 送 的 一 致 ， 就 是 说 ， 如 果 业 务 操作 成 功 
了 ， 那 么 由 这 个 操作 产生 的 消息 一 定 要 发 送出 去 ， 否 则 就 丢失 消息 了 。 
而 嚼 一 方 面 ， 如 时 这 个 业务 行为 没有 发 生 或 者 失败 ， 那 么 就 不 应 该 消 
6.2.1.2 ”消息 发 送 一 致 性 很 难保 证 吗 

如 果 要 写 处 理 业务 逻辑 的 代码 和 发 送 消息 的 代码 ， 该 怎么 写 呢 ? 

下 面 是 一 段 伪 代 码 ， 是 在 某 些 实践 中 的 用 法 。 从 中 可 以 看 到 以 下 两 个 问 
题 o 


void foo1(){ 


// 业 务 操作 


// 例 如 写 数 据 库 ， 调 用 服务 等 // 发 送 消 息 
} 


业务 操作 在 前 ， 发 送 消息 在 后 ， 如 果 业 务 失 败 了 还 好 (当然 业务 自 
己 不 觉得 好 ) ， 如 果 成 功 了 ， 而 这 时 这 个 应 用 出 问题 ， 那 么 消息 就 
pe 

如 有 打 业 务 成 功 ， 应 用 也 没有 挂 摊 ， 但 是 这 时 消息 系统 挂 兵 了 ， 也 会 
导致 消息 发 不 出 去 。 


我 们 来 看 另外 一 种 做 法 ， 伪 代码 如 下 : 


void fool1(){ 

// 发 送 消 息 // 业 务 操作 

// 例 如 写 数据 库 ， 调 用 服务 等 
} 


这 种 方式 更 不 可 靠 ， 在 业务 还 没有 做 时 消息 就 发 出 了 。 


在 具体 的 工程 实践 中 ， 第 一 种 做 法 丢失 消息 的 比例 相对 是 很 低 的 。 当 
然 ， 对 于 要 求 必须 保证 一 致 性 的 场景 ， 上 面 的 两 种 方案 都 不 能 接受 。 


6.2.1.3 ”大 家 熟知 的 JMS 有 办 法 吗 


使 用 JMS 可 以 实现 消息 发 送 一 致 性 吗 ? 我 们 来 看 看 JMS 发 送 消 息 的 部 
分 。 首 先 看 看 JMS 中 几 个 比较 重要 的 要 素 。 


。 Destination， 是 指 消息 所 走 通 道 的 目标 定义 ， 也 束 是 用 来 定义 消 恩 
从 发 送 端 发 出 后 要 走 的 通道 ， 而 不 是 最 终 接收 方 。Destination 属 于 
管理 类 的 对 象 。 


。 ConnectionFactory ， 从 名 字 束 能 看 出 来 ， 是 指 用 于 创建 连接 的 对 象 
ConnectionFactory 属 于 管理 类 的 对 象 。 

。 Connection， 连 接 接口 ， 所 负责 的 重要 工作 是 创建 Session。 

。 Session， 会 话 接口 ， 这 是 一 个 非常 重要 的 对 象 ， 消 息 的 发 送 者 、 接 
收 者 以 及 消息 对 象 本 喘 ， 都 是 由 这 个 会 话 对 象 创 建 的 。 

。 和 ， 消 息 的 消费 者 ， 也 就 是 订阅 消 轧 并 处 理 消息 的 
对 象 。 

。 MessageProducer， 消 妃 的 生产 者 ， 束 是 用 来 发 送 消 息 的 对 象 。 

。 XXXMessage， 是 指 各 种 类 型 的 消息 对 象 ， 包 括 BytesMessage、 
MapMessage、ObjectMessage、StreamMessage 和 TextMessage 5 种 。 


在 JMS 消 息 模 型 中 ， 有 Queue 和 Topic (在 后 面 会 详细 介绍 ) 之 分 ， 所 
以 ， 前 面 的 Destination 、 ConnectionFactory 、 Connection 、Session 、 
MessageConsumer、MessageProducer 都 有 对 应 的 子 接口 。 表 6-1 显 示 了 前 
面 各 要 素 在 Queue 模 型 (PTP Domain) 和 Topic 模 型 (Pub/Sub Domain) 
下 的 对 应 关系。 


表 6-1 Queue 模 型 和 Topic 模 型 下 各 要 素 对 比 


JMS Common PTP Domain Pub/Sub Domain 
ConnectionFactory QueueConnectionFactory TopicConnectionFactory 
Connection QueueConnection TopicConnection 
Destination Queue Topic 

Session QueueSession TopicSession 
MessageProducer QueueSender TopicPublisher 
MessageConsumer QueueReceiver TopicSubscriber 


此 外 ， 在 JMS 的 API 中 ， 我 们 看 到 很 多 以 XA 开头 的 接口 ， 它 们 其 实 殊 是 
支持 XA 协议 的 接口 ， 它 们 与 表 6-1 中 各 要 素 的 对 应 关系 如 表 6-2 所 示 。 


表 6-2 XA 系列 接口 与 对 应 的 非 XA 系 列 接口 


XA 系列 接口 名 称 对 应 的 非 XA 接 口 名 称 


XAConnectionFactory ConnectionFactory 


XAQueueConnectionFactory QueueConnectionFactory 
XATopicConnectionFactory TopicConnectionFactory 


XAConnection Connection 
XAQueueConnection QueueConnection 
XATopicConnection TopicConnection 
XASession Session 
XAQueueSession QueueSession 
XATopicSession TopicSession 


可 以 看 到 ，XA 系 列 的 接口 集中 在 ConnectionFactory 、Connection 和 
Session 上 ， 而 MessageProducer 、 QueueSender 、 TopicPublisher 、 
MessageConsumer、QueueReceiver 和 TopicSubscriber 则 没有 对 应 的 XA 对 
象 。 这 是 因为 事务 的 控制 是 在 Session 层 面 上 的 ， 而 Session 是 通过 
Connection 创 建 的 ，Connection 是 通过 ConnectionFactory 创 建 的 ， 所 以 ， 
这 三 个 接口 需要 有 XA 系列 对 应 的 接口 的 定义 。Session、Connection、 
ConnectionFactory 在 Queue 模 型 和 Topic 模 型 下 对 应 的 各 个 接口 也 存在 相 
应 的 XA 系列 的 对 应 接口 。 


下 面 展 示 了 消息 最 重要 的 要 素 (消息 、 发 送 者 、 接 收 者 ) 与 几 个 基本 元 
素 之 间 的 关系 。 


ConnectionFactory-Connection—>Session=>Message 
Destination + Session=MessageProducer 


Destination + Sessoin=MessageConsumer 


在 JMS 中 ， 如 果 不 使 用 XA 系列 的 接口 实现 ， 那 么 我 们 就 无 法 直接 得 到 发 
送 消息 给 消 轧 中 间 件 及 业务 操作 这 两 个 事情 的 事务 保证 ， 而 JMS 中 定义 
的 XA 系列 的 接口 束 是 为 了 实现 分 布 式 事务 的 支持 0 
作 很 难 做 在 一 个 本 地 事务 中 ， 后 面 会 讲 到 一 些 变通 的 做 法 ) 。 但 是 这 
市 来 如 下 问题 。 


。 引入 了 分 布 式 事务 ， 这 会 带 来 一 些 开销 并 增加 复杂 性 。 
。 对 全 业务 操作 有 限制 ， 要 求 业务 操作 的 资源 必须 支持 XA 协议 ， 才 
能 够 与 发 送 消息 一 起 来 做 分 布 式 事务 。 这 会 成 为 一 个 限制 ， 因 为 并 


不 是 所 有 需要 与 发 送 消息 一 起 做 成 分 布 式 事务 的 业务 操作 都 支持 
XA 协 议 。 


6.2.1.4 有 其 他 的 办 法 吗 


从 6.2.1.3 节 可 以 看 到 ，JMS 是 可 以 解决 消 妃 发 送 一 致 性 的 问题 的 ， 但 是 
存在 一 些 限制 并 且 成 本 相对 较 高 。 那 么 ， 我 们 有 没有 其 他 的 办 法 呢 ? 


我 们 来 思考 一 下 要 解决 的 问题 ， 我 们 希望 保证 业务 操作 与 发 送 相 关 消 旦 
的 动作 是 一 致 的 ， 而 前 面 的 简单 方案 不 能 完全 保证 ， 但 是 出 现 问 题 的 概 
率 并 不 大 ， 所 以 ， 我 们 希望 找到 一 种 解决 方案 ， 这 种 方案 对 正 稼 流程 的 
影响 要 尽 可 能 小 ， 而 在 有 问题 的 场景 能 解决 问题 。 


从 这 个 方面 看 ， 即 便 可 以 做 到 业务 操作 都 征文 持 XA 的 ， 如 果 采 用 这 样 
的 方式 引入 两 阶段 提交 的 话 ， 那 么 还 是 把 方案 做 得 有 些 重 了 。 


针对 这 个 问题 ， 我 们 可 以 用 图 6-7 所 示 的 方案 来 解决 ， 流 程 介绍 如 下 。 


本 地 事务 域 


(4) 业务 操作 | 
应 用 (消息 发 布 者 ) 人 


(1) 发 送 “个 (3) 返回 | (5) 发 送 
消息 , 消 消息 入 ”| 业务 处 


理 结 果 


(2) 存储 消息 | 
消息 中 间 件 消息 存储 | | 
机 


(6) 更 新 消息 状态 ， 
业务 成 功 ， 消 息 状态 
| 为 待 发 送 ; 
| 本 地 事务 域 业务 失败 ， 消 息 删 除 


图 6-7 最 终 一 致 性 方案 的 正 向 流程 


0 
理 。 


和 
滑 届 。 


(3) 消息 中 间 件 返回 消息 处 理 的 结果 〈 仅 是 入 库 的 结果 ) ， 结 果 是 成 
功 或 者 失败 。 


(4) 业务 方 收 到 消息 中 间 件 返回 的 结果 并 进行 处 理 : 
) 如 果 收 到 的 结果 是 失败 ， 那 么 就 放弃 业务 处 理 ， 结 束 。 
b) 如 果 收 到 的 结果 是 成 功 ， 则 进行 业务 自身 的 操作 。 
( 
( 


Q 


5) 业务 操作 完成 ， 把 业务 操作 的 结果 发 送 给 消息 中 间 件 。 
6) 消息 中 间 件 收 到 业务 操作 结果 ， 根 据 结果 进行 处 理 : 
a) 如 果 业 务 失 败 ， 则 删除 消息 存储 中 的 消息 ， 结 束 。 


b) 如 果 业 务 成 功 ， 则 更 新 消息 存储 中 的 消息 状态 为 可 发 送 ， 并 且 进行 
调度 ， 进 行 消 息 的 投递 。 


这 就 是 整个 流程 。 在 这 里 读者 一 定 会 有 一 个 疑问 ， 即 在 最 简单 的 版 本 
中 ， 我 们 只 有 业务 操作 和 发 消息 两 步 ， 仍 然 会 可 能 产生 很 多 异常 ， 那 么 
现在 这 个 过 程 的 步 又 更 多 ， 产 生 有 异常 的 可 能 点 更 多 ， 是 如 何 能 够 保证 业 
务 操 作 和 发 送 消 轧 到 消 轧 中 间 件 是 一 致 的 呢 ? 


我 们 对 每 一 个 步骤 可 能 产生 的 异常 情况 来 进行 分 析 。 


(1) 业务 应 用 发 消息 给 消息 中 间 件 。 如 果 这 一 步 失败 了 ， 无 论 是 网 络 
的 原因 还 是 消息 中 间 件 的 原因 ， 或 是 业务 应 用 目 身 的 原因 ， 我 们 都 会 看 
到 业务 操作 没有 做 ,消息 也 没有 被 存储 在 消息 中 间 件 中 ， 业 务 操作 和 消 
轧 的 状态 是 一 样 的 ， 没 有 问题 。 


(2) 消息 中 间 件 把 消息 入 库 。 如 果 这 一 步 失 败 ， 无 论 是 消息 存储 有 问 

题 ， 还 是 消息 中 间 件 收 到 业务 消 轧 后 有 问题 ， 或 是 网 络 问题 ， 可 能 造成 
的 结果 有 两 个 。 一 个 是 消息 中 间 件 失效 ， 那 么 业务 应 用 是 收 不 到 消息 中 
间 件 的 返回 结果 的 ; 二 是 消息 中 间 件 插入 消息 失败 ， 并 且 有 能 力 返 回 结 
条 给 应 用 ， 这 时 消息 存储 中 都 没有 消息 。 


(3) 业务 应 用 接收 消息 中 间 件 返回 结果 异常 。 这 里 出 现 异 常 的 原因 可 
能 古 网 络 、 消 居中 间 件 的 问题 ， 也 可 能 是 业务 应 用 目 血 的 问题 。 如 果 业 
务 应 用 目 身 没 问 题 ， 那 么 业务 应 用 并 不 知道 消息 在 消息 中 间 件 的 处 理 结 
果 ， 就 会 按照 消息 发 送 类 败 来 处 理 ， 如 果 这 时 消息 在 消息 中 间 件 那里 入 
库 成 功 的 话 ， 束 会 造成 不 一 怪 。 如 果 是 业务 应 用 有 问题 ， 那 么 如 果 消 居 
在 消息 中 间 件 中 处 理 成 功 的 话 ， 也 束 会 造成 不 一 致 了 ; 如果 未 处 理 成 
功 ， 则 还 是 一 致 的 。 


(4) 业务 应 用 进行 业务 操作 。 这 一 步 不 会 产生 太 大 问题 。 

(5) 业务 应 用 发 送 业 务 操作 结果 给 消息 中 间 件 。 如 果 这 一 步 出 现 问 
a 
息 ， 可 能 会 造 


(6) 消息 中 间 件 更 新 消息 状态 。 如 果 这 一 步 出 现 问题 ， 与 上 一 步 所 造 
成 的 结果 是 类 似 的 。 
从 上 面 的 分 析 可 以 看 出 ， 知 要 了解 的 两 个 主要 的 控制 状态 和 流程 的 广 氮 


束 是 业务 应 用 和 消息 中 间 件 ， 我 们 可 以 分 别 从 业务 应 用 和 消息 中 间 件 的 
视角 来 梳理 一 下 ， 如 表 6-3 和 表 6-4 所 示 。 


表 6-3 ”从 业务 应 用 的 视角 分 析 异 常情 况 


异常 情况 可 能 的 状态 

发 送 消 恳 给 消息 中 间 件 前 失败 业务 操作 未 进行 ， 请 轧 未 入 存储 
消息 发 出 后 没有 收 到 消息 中 间 件 业务 操作 未 进行 ,消息 存 入 存 
的 响应 储 ， 状 态 为 竺 处 理 


业务 操作 未 进行 ， 消 恩 未 入 存储 
收 到 消息 中 间 件 返回 成 功 ， 但 是 业务 操作 未 进行 ， 消息 存 入 存 
没有 来 得 及 处 理 业 务 就 失败 储 ， 状 态 为 竺 处 理 


表 6-4 ”从 消息 中 间 件 的 视角 分 析 异 常情 况 


异常 情况 可 能 的 状态 


没有 收 到 业务 应 用 关于 业务 操作 业务 操作 未 进行 ,消息 存 入 存 
的 处 理 结 采 储 ， 状 态 为 竺 处 理 


业务 操作 未 进行 ( 回 深 ) ， 消 息 存 
入 存储 ， 状 态 为 待 处理 


业务 操作 成 功 ， 消 息 存 入 存储 ， 


状态 为 竺 处 理 
收 到 业务 应 用 的 业务 操作 结果 ， 业务 操作 未 进行 ， 消息 存 入 存 
处 理 存储 中 的 消息 状态 失败 储 ， 状 态 为 待 处理 


业务 操作 未 进行 ( 回 深 ) ， 消 息 存 
入 存储 ， 状 态 为 竺 处 理 


业务 操作 成 功 ， 消 息 存 入 存储 ， 
状态 为 竺 处 理 


人 


。 业务 操作 未 进行 ， 消 息 未 入 存储 。 
。 业务 操作 未 进行 ， 消 息 存 和 存储， 状态 为 待 处 理 。 
。 业务 操作 成 功 ， 消 轧 存 入 存储 ， 状 态 为 竺 处理。 


这 三 种 情况 中 ， 第 一 种 情况 不 需要 进行 额外 的 处 理 ， 因 为 本 号 束 是 一 至 
的 ; 第 二 种 和 第 三 种 都 需要 了 解 业务 操作 的 结果 ， 然 后 来 处 理 已 经 在 消 
恩 存 储 中 、 状 态 是 待 处 理 的 消息 。 


那么 如 何 了 解 业 务 操作 的 结 采 呢 ? 


图 6-8 展 示 了 这 个 过 程 。 由 消 妃 中 间 件 主动 询问 业务 应 用 ， 获 取 竺 处理 消 
恩 所 对 应 的 业务 操作 的 结果 ， 然 后 业务 应 用 需要 对 业务 操作 的 结果 进行 
检查 ， 并 且 把 结果 发 送 给 消息 中 间 件 (业务 处 理 结果 有 失败 、 成 功 、 等 
竺 三 种 ， 等 竺 是 多 出 来 的 一 种 状态 ， 代 表 业 务 操作 还 在 处 理 中 ) ， 然 后 
消 上 乱 中 间 件 根据 这 个 处 理 结 宁 ， 更 新 消息 状态 。 可 以 说 这 是 发 送 消 乱 的 
一 个 反 辣 的 流程 。 


和 (2) 检查 操作 
结果 
i | 应 用 (消息 发 布 者 | 业务 择 作 | | 


(1) 询问 状态 (3) 发 送 
为 待 处 理 的 业务 处 
消息 对 应 的 理 结 


业务 操作 结 
录 


了 消 豆 状态 - 
消息 中 间 件 消息 状态 
为 待 发 送 ; 
本 地 事务 域 


业务 失败 ， 消 息 删 除 


图 6-8 ”最 终 一 致 性 方案 的 补偿 流程 


同样 ， 这 个 流程 也 会 出 现 很 多 异常 。 不 过 这 个 4 步 的 流程 就 是 为 了 确认 
业务 处 理 操作 结果 ， 真 正 的 操作 只 是 根据 业务 处 理 结 采 来 更 改 消息 的 状 
态 ， 所 以 ， 前 面 3 步 都 与 查询 相关 ， 如 采 失 败 束 失败 了 ， 而 最 后 一 步 的 
0 


发 送 消 息 的 正 回 流程 和 检查 业务 操作 结果 的 反 回 流程 合 起 来 ， 就 是 解决 

业务 操作 与 发 送 消 息 一 致 性 的 方案 。 在 大 多 数 的 情况 下 ， 反 向 流程 是 不 

0 a 
不 ?° 


表 6-5 ”解决 一 致 性 方案 与 传统 方式 的 对 比 


传统 方式 解决 一 致 性 的 方案 
(1) 业务 操作 (1) 发 送 消息 给 消息 中 间 件 


(2) 发 送 消息 给 消息 中 间 件 (2) 消息 中 间 件 入 库 消息 


(3) 消息 中 间 件 入 库 消 息 (3) 消息 中 间 件 返回 结 


(4) 消息 中 间 件 返回 结 (4) 业务 操作 
(5) 发 送 业务 操作 结果 给 消息 中 
间 件 


(6) 更 改 存储 中 消息 状态 


从 上 面 的 对 比 可 以 看 到 ， 解 决 一 致 性 的 方案 是 只 增加 了 一 次 网 络 操作 和 
一 次 更 新 存储 中 消 思 状态 的 操作 ， 束 是 第 5 步 和 第 6 步 两 步 。 而 前 面 4 步 
和 传统 方式 所 做 的 事情 都 一 样 ， 只 是 顺序 有 所 不 同 。 所 以 ， 整 体 上 市 来 
的 额外 开销 并 不 大 ， 而 且 还 有 可 优化 的 点 。 


接着 来 看 一 下 使 用 方式 。 可 以 看 到 解决 一 致 性 的 方案 中 ， 在 业务 应 用 那 
人 
为 代码 如 下 。 


Result postMessage(Message, PostMessageCallback)t{ 
// 发 送 消息 给 消息 中 间 件 
// 获 取 返 回 结果 
// 如 果 失 败 ， 返 回 失败 
// 进 行业 务 操 作 
// 获 取 业 务 操作 结 
// 发 送 业 务 操作 结果 给 消息 中 间 件 
// 返 回 处 理 结 有 
} 


人 


NS 
7 


可 以 看 到 ， 我 们 可 以 把 实现 逻辑 封闭 在 一 个 调用 中 ， 然 后 把 业务 的 操作 
包装 成 一 个 对 象 传 进来 ， 然 后 整个 流程 束 可 以 控制 在 这 个 方法 中 了 。 


当然 ， 除 了 发 送 一 致 性 的 消息 之 外 ， 也 应 该 提供 一 个 传统 的 发 送 消息 的 
接口 ， 也 就 是 不 文 持 发 送 一 致 性 的 发 送 接口 。 


此 外 ， 为 了 适应 其 他 的 场景 (例如 与 现 有 的 事务 处 理 流程 结合 等 ) ， 也 
会 提供 独立 的 接口 ， 束 会 把 这 个 流程 的 控制 权 交 给 业务 应 用 自身 。 


6.2.2 ”如 何 解 决 消息 中 间 件 与 使 用 者 的 
强 依 赖 问题 


回顾 一 下 解决 业务 操作 和 发 送 消 息 一 致 性 的 方案 ， 会 发 现 我 们 更 多 地 关 
注 了 如 何 保 持 和 解决 一 致 性 的 问题 ， 但 是 名 略 了 一 个 问题 ， 那 就 是 消 县 
中 间 件 变 成 了 业务 应 用 的 必要 依赖 。 也 吕 是 说 ， 如 果 消 轧 中 间 件 系统 
(包括 使 用 的 消息 存储 、 业 务 应 用 到 消息 中 间 件 的 网 络 等 ) 出 现 问题 ， 
人 
征 可 用 的 。 


我 们 需要 思考 如 何 解决 这 个 问题 ， 思 路 有 如 下 三 种 : 


。 提供 消 轧 中 间 件 系统 的 可 靠 性 ， 但 是 没有 办 法 保证 百分之百 可 靠 。 

。 对 于 消息 中 间 件 系统 中 影响 业务 操作 进行 的 部 分 ， 使 其 可 靠 性 与 业 
务 和 目 身 的 可 靠 性 相同 。 

。 可 以 提供 弱 依 赖 的 文 持 ， 能 够 较 好 地 保证 一 致 性 。 


第 一 种 方案 ， 提 升 消 轧 中 间 件 系统 的 可 靠 性 是 必须 要 做 的 事情 ， 但 是 我 
们 无 法 保证 百分之百 可 靠 。 


第 二 种 方案 ， 让 消息 中 间 件 系统 中 影响 业务 操作 的 部 分 与 业务 目 吴 具有 
同样 的 可 靠 性 ， 其 实 就 是 要 保证 如 果 业 务 能 操作 成 功 ， 就 需要 消息 能 够 
入 库 成 功 。 因 为 如 果 消 息 中 间 件 出 问题 了 ， 可 以 接受 投递 的 延迟 ， 但 是 
需要 保证 消息 入 库 ， 这 样 业务 操作 才 可 以 继续 进行 。 那 么 ， 可 行 的 方式 
只 有 一 种 ， 如 图 6-9 所 示 。 


消息 中 间 件 


轮 询 消 息 


图 6-9 ”应 用 和 消息 中 间 件 一 起 操作 消息 表 结 构 


我 们 把 消息 中 间 件 所 需要 的 消息 表 与 业务 数据 表 放 到 同一 个 业务 数据 库 
中 ， 这 样 ， 业 务 应 用 就 可 以 把 业务 操作 和 写 入 消 轧 作为 一 个 本 地 事务 来 
完成 ， 然 后 再 通知 消息 中 间 件 有 消息 可 以 发 送 ， 这 样 加 解 决 了 一 致 性 的 
问题 。 从 图 6-9 中 可 以 看 到 这 一 步 是 虚线 表示 的 ， 代 表 它 不 是 一 个 必要 的 
操作 和 依赖 。 消 息 中 间 件 会 定时 去 轮 询 业 务 数据 库 ， 找 到 需要 发 送 的 消 
轧 ， 取 出 内 容 后 进行 发 送 。 这 个 方案 对 业务 系统 有 如 下 三 个 影响 : 


。 需要 用 业务 目 己 的 数据 库 承载 消 思 数据 。 

需要 让 消息 中 间 件 去 访问 业务 数据 库 。 

需要 业务 操作 的 对 象 是 一 个 数据 库 ， 或 者 说 文 持 事务 的 存储 ， 并 且 
这 个 存储 必须 能 够 文 持 消 息 中 间 件 的 需求 。 


我 们 在 上 面 的 基础 上 进行 一 下 变通 ， 如 图 6-10 所 示 。 这 个 方案 和 图 6-9 中 
方案 的 区 别 是 ， 消 息 中 间 件 不 再 直接 与 业务 数据 库 打交道 。 消 恩 表 还 是 
放 在 业务 数据 库 中 ， 完 全 由 业务 数据 库 来 控制 消息 的 生成 、 获 取 、 发 送 
及 重 试 的 策略 。 这 样 ， 消 轧 中 间 件 束 不 需要 与 众多 使 用 这 种 消息 一 致 性 
发 送 的 业务 方 的 数据 库 打 交道 了 ， 不 过 比较 多 的 逻辑 是 从 消 妃 中 间 件 的 
服务 端 移 动 到 消息 中 间 件 的 客户 端 ， 并 且 在 业务 应 用 上 执行 。 消 息 中 间 
件 更 多 的 十 管理 接收 消息 的 应 用 ， 并 且 当 有 消 恩 从 业务 应 用 发 过 来 后 整 
只 管理 投递 ， 把 原来 的 调度 、 重 投 、 投 递 等 逻辑 分 到 了 客户 端 和 服务 端 


两 边 


图 6-10 ”消息 中 间 件 不 直接 操作 消息 表 结 构 


图 6-9 和 图 6-10 中 的 两 种 方式 虽然 已 经 解决 了 大 部 分 问题 ， 但 是 它们 都 要 
求 业 务 操 作 是 文 持 事务 的 数据 库 操 作 ， 具 有 一 定 的 限制 性 ， 这 里 我 们 可 
以 再 进行 一 下 变通 。 


我 们 考虑 把 本 地 磁盘 作为 一 个 消息 存储 ， 也 就 是 如 采 消 轧 中 间 件 不 可 
用 ， 义 不 愿 或 不 能 侵入 业务 自己 的 数据 库 时 ， 可 以 把 本 地 磁 副 作为 存储 
消息 的 地 方 ， 等 竺 消息 中 间 件 回复 后 ， 再 把 消息 送 到 消息 中 间 件 中 (如 
图 6-11 所 示 ) 。 所 有 的 投递 、 重 试 等 管理 ， 仍 然 是 在 消息 中 间 件 进行 ， 
而 本 地 磁盘 的 定位 只 是 对 业务 应 用 上 发 送 消息 一 定 成 功 的 一 个 保证 。 


消息 中 间 件 
消息 中 间 件 客户 端 


图 6-11 ”应 用 本 地 记录 消息 结构 


这 种 方式 存在 的 风险 是 ， 如 宁 消 轧 中 间 件 不 可 用 ， 而 且 写 入 本 地 磁盘 的 
数据 也 坏 了 的 话 ， 那 么 消 妃 束 丢 失 了 。 这 确实 是 个 问题 ， 所 以 ， 从 业务 
数据 上 进行 消息 补 发 才 是 最 彻底 的 容 灾 的 手段 ， 因 为 这 样 才能 保证 只 
业务 数据 在 ， 吏 一 定 可 以 有 办 法 恢复 消 轧 了。 


将 本 地 伍 盘 作为 消息 存储 的 方式 有 两 种 用 法 ， 一 是 作为 一 致 性 发 送 消 县 
的 解决 方案 的 容 灾 手 段 ， 也 就 是 说 该 方式 平时 不 工作 ， 出 现 问题 时 才 切 
换 到 该 方式 上 ; 二 是 直接 使 用 该 方式 来 工作 ， 这 样 可 以 控制 业务 操作 本 
身 调用 发 送 消 乱 的 接口 的 处 理 时 间 ， 此 外 也 有 机 会 在 业务 应 用 与 消息 中 
间 件 之 间 做 一 些 批 处 理 的 工作 。 


0 我 们 来 看 一 下 业务 操作 与 发 送 消息 一 致 性 的 方案 所 带 来 的 两 个 限 
| o 


。 需要 确定 要 发 送 的 消 妃 的 内 容 。 因 为 我 们 在 业务 操作 做 之 前 会 把 状 
态 标记 为 竺 处理， 这 要 求 移 能 确定 消息 内 容 ; 这 里 可 以 有 一 个 变 
通 ， 即 移 把 主要 内 容 也 束 是 能 够 标记 该 次 业务 操作 特点 的 信息 发 过 
来 ， 然 后 等 业务 操作 结束 后 需要 更 新 状态 时 再 补 全 内 容 。 不 过 这 还 
征 要 求 在 业务 操作 之 前 能 够 确定 一 些 索 引 性 质 的 信息 。 

需要 实现 对 业务 的 检查 。 也 就 是 说 为 了 文 持 反 回流 程 的 工作 ， 业 务 
应 用 必须 能 够 根据 反 回 流程 中 发 回来 的 消息 内 容 进行 业务 操作 检 
查 ， 确 认 这 个 消 思 所 指 癌 的 业务 操作 的 状态 是 完成 、 待 处 理 ， 还 是 
进行 中 ， 否 则 ， 待 处 理 状 态 的 消息 就 无 法 被 处 理 了 。 


6.2.3 ”消息 模型 对 消 居 接收 的 影响 


前 面 讲述 了 消息 发 送 端的 内 容 ， 我 们 接 下 来 看 一 下 消息 模型 。 在 JMS 
中 ， 有 Queue (点 对 点 ) 和 Topic (发 布 /订阅 ) 两 种 模型 ， 我 们 来 看 看 
这 两 种 模型 的 特点 。 


6.2.3.1 JMS Queue 模 型 


图 6-12 显 示 的 是 JMS Queue 模 型 ， 可 以 看 到 ， 应 用 1 和 应 用 2 发 送 消 息 到 
JMS 服 务 器 ， 这 些 消 息 根 据 到 达 的 顺序 形成 一 个 队列 ， 应 用 3 和 应 用 4 进 
行 消息 的 消费 。 这 里 需要 注意 的 是 ， 应 用 3 和 应 用 4 收 到 的 消息 是 不 同 
的 ， 也 就 是 说 在 JMS Queue 的 方式 下 ， 如 果 Queue 里 面 的 消息 被 一 个 应 用 


处 理 了 ， 那 么 连接 到 JMS Queue 上 的 男 一 个 应 用 是 收 不 到 这 个 消息 的 ， 
也 束 是 说 所 有 连 授 到 这 个 JMS Queue 上 的 应 用 共同 消费 了 所 有 的 消息 。 
消息 从 发 送 端 发 送出 来 时 不 能 确定 最 终 会 被 哪个 应 用 消费 ， 但 是 可 以 明 
确 的 是 只 有 一 个 应 用 会 去 消费 这 条 消息 ， 所 以 JMS Queue 模 型 也 被 称 为 
Peer To Peer (PTP) 方式 。 


应 用 1 


图 6-12 ”JMS Queue 模 型 
6.2.3.2”JMS Topic 模 型 


图 6-13 显 示 的 是 JMS Topic 模 型 。 从 发 送 消 息 的 部 分 和 JMS Topic 内 部 的 
逻辑 来 看 ，JMS Topic 和 JMS Queue 是 一 样 的 ， 二 者 最 大 的 差别 在 于 消息 
接收 的 部 分 ， 在 Topic 模 型 中 ， 接 收 消 息 的 应 用 3 和 应 用 4 是 可 以 独立 收 到 
所 有 到 达 Topic 的 消息 的 。JMS Topic 模 型 也 被 称 为 Pub/Sub 方 式 。 


JMS (Topic) 


发 送 消息 


图 6-13 JMS Topic 模 型 


6.2.3.3 JMS 中 客户 端 连接 的 处 理 和 带 来 的 限制 


在 使 用 JMS 时 ， 每 个 Connection 都 有 一 个 唯一 的 ClientId， 用 于 标记 连接 
的 唯一 性 ， 也 就 是 说 刚才 对 Queue 和 Topic 的 介绍 中 ， 我 们 是 默认 一 个 接 
收 应 用 只 用 了 一 个 连接 。 现 在 来 看 一 下 多 连接 的 情况 ， 如 图 6-14 所 示 。 


| JMS (Queue) 
应 用 1 


图 6-14 ”从 连接 角度 看 应 用 从 Queue 中 接收 消息 


这 里 需要 强调 一 下 ， 图 6-14 中 的 应 用 3 和 应 用 4 表示 的 古 两 个 不 同 的 应 
用 ， 并 且 表 示 的 是 运行 应 用 代码 的 一 个 物理 进程 。 其 中 ， 应 用 3 和 JMS 服 
务 器 建立 了 两 个 连接 ， 应 用 4 和 JMS 服 务 絮 建立 了 一 个 连接 ， 可 以 看 到 这 
三 个 连接 所 接收 的 消息 十 完全 不 同 的 ， 每 个 连接 收 到 的 消息 条 数 以 及 收 
到 消 轧 的 顺序 则 不 是 固定 的 。 


图 6-15 中 ， 应 用 3、 应 用 4 也 是 表示 两 个 进程 ， 运 行 不 同 的 应 用 代码 。 其 
中 应 用 3 和 JMS 服 务 絮 建立 了 一 个 连接 ， 应 用 4 和 JMS 服 务 器 建立 了 两 个 
连接 ， 可 以 看 到 ， 这 两 个 应 用 一 共 建 立 了 三 个 连接 ， 每 个 连接 都 会 收 到 
所 有 发 送 到 Topic 的 消息 。 


应 用 1 
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图 6-15 ”从 连接 角度 看 应 用 从 Topic 中 接收 消息 


6.2.3.4 ”我 们 需要 什么 样 的 消息 模型 


了 解 了 JMS 中 的 消息 模型 及 连接 管理 的 信息 ， 接 下 来 思考 一 下 我 们 需要 
的 到 改 是 怎样 的 消息 模型 。 先 分 析 一 下 我 们 所 要 满足 的 需求 : 


。 消 乱 发 送 方 和 接收 方 都 是 集群 。 
。 同 一 个 消息 的 接收 方 可 能 有 多 个 集群 进行 消息 的 处 理 。 
。 不 同 集群 对 于 同一 条 消息 的 处 理 不 能 相互 干扰 。 


从 前 面 对 Queue、Topic 模 型 的 介绍 中 可 以 看 到 ，Connection 是 一 个 重要 
的 概念 ， 一 个 进程 可 以 有 多 个 连接 到 JMS Server 的 Connection ， 对 于 发 
送 、 接 收 都 是 集群 的 情况 ， 在 JMS 中 是 可 以 直接 支持 的 。 


再 来 看 第 二 点 和 第 三 点 需求 。 我 们 要 求 同 一 消息 能 够 被 不 同 的 集群 独立 
互 不 干扰 地 处 理 ， 也 惑 是 说 ， 假 设 有 8 条 消息 和 两 个 集群 ， 每 个 集群 恰 
好 有 两 台 机 器 ， 那 么 需要 这 两 个 集群 中 的 机 器 分 别处 理 掉 所 有 8 条 信 
息 ， 不 能 遗漏 ， 也 不 能 重复 (如 图 6-16 所 示 ) 。 


消息 服务 器 
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图 6-16 ”我 们 需要 的 消息 模型 


从 图 6-16 中 我 们 可 以 更 清楚 地 看 到 需要 的 模型 。 那 么 ， 在 JMS 的 基础 
上 ， 我 们 该 怎么 做 呢 ? 前 面 我 看 到 JMS 只 提供 了 Queue 和 Topic 两 种 模 
型 ， 而 这 两 种 模型 直接 使 用 在 这 个 场景 都 是 有 问题 的 。 

he Queue 模 型 ， 集 群 A 和 集群 B 收 到 的 消息 都 将 不 完整 ， 如 图 
6-17 所 不 ° 


JMS Queue 


加 回国 因 四 加 四 加 


图 6-17 使 用 JMS Queue 的 情况 


从 图 6-17 中 可 以 清楚 地 看 到 ， 集 群 A 的 两 台 机 右上 的 应 用 收 到 了 一 部 分 
消息 ， 而 集群 B 的 两 合 机 器 上 的 应 用 收 到 了 男 一 部 分 消息 ， 集 群 A 和 集 
群 B 的 机 器 接收 的 消息 都 不 完整 ， 二 者 加 起 来 才 是 全 部 的 消息 ， 但 是 这 
不 是 我 们 所 想 要 的 模型 。 


再 来 看 一 下 使 用 Topic 的 情况 ， 如 图 6-18 所 示 。 可 以 看 到 ， 集 群 A 和 集群 

B 是 可 以 收 到 所 有 请 息 的 ， 但 是 各 集群 内 部 的 机 器 会 收 到 重复 的 消 轧 。 
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图 6-18 ”使 用 JMS Topic 的 情况 


既然 无 法 直接 通过 JMS 的 Queue 模 型 和 Topic 模 型 来 满足 这 个 需求 ， 那 么 
在 我 们 实现 的 消息 中 间 件 中 就 需要 跳出 这 两 种 模型 ， 实 现 能 够 满足 我 们 
需求 的 模型 。 


具体 来 说 ， 我 们 可 以 把 集群 和 集群 之 间 对 消息 的 消费 当做 Topic 模 型 来 处 
理 ， 而 集群 内 部 的 各 个 具体 应 用 实例 对 消 恩 的 消费 当做 Queue 模 型 来 处 
理 。 我 们 可 以 引入 ClusterId， 用 这 个 Id 来 标识 不 同 的 集群 ， 而 集群 内 的 
各 个 应 用 实例 的 连接 使 用 同样 的 ClusterId。 当 服务 器 端 进行 调度 时 ， 根 
据 ClusterId 进 行 连接 的 分 组 ， 在 不 同 的 ClusterId 之 间 保 证 消息 的 独立 投 
递 ， 而 拥有 同样 ClusterId 的 连接 则 共同 消费 这 些 消息 ， 如 图 6-19 所 示 。 
这 个 策略 是 分 两 级 来 处 理 ， 把 Topic 模 型 和 Queue 模 型 的 特点 结合 起 来 使 
用 ， 从 而 达到 多 个 不 同 的 集群 进行 消息 订阅 的 目的 。 
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图 6-19 多 集群 订阅 者 解决 方案 


如 有 果 一 定 要 使 用 JMS 的 话 ， 有 一 个 变通 的 做 法 ， 束 是 把 JMS 的 Topic 和 
Queue 也 按照 上 面 的 思路 级 联 起 来 使 用 ， 如 图 6-20 所 示 。 


JMS Topic 


图 6-20 ”通过 JMS 级 联 的 解决 方案 


不 过 这 种 级 联 方式 相对 比较 繁重 ， 是 多 个 独立 的 JMS 服 务 器 之 间 的 连 
接 ， 这 比 在 消息 中 间 件 服务 器 端 内 部 进行 处 理 要 复杂 很 多 。 好 处 是 基本 
可 以 直接 使 用 JMS 的 实现 。 这 里 需要 注意 的 是 从 Topic 中 发 消息 分 派 到 不 
同 的 Queue 中 时 ， 需 要 由 独立 的 中 转 的 消息 订阅 者 来 完成 ， 并 且 对 同一 
个 Queue 的 中 转 只 能 由 一 个 连接 (Connection) 完成 ;为 了 实现 高 可 用 
性 ， 还 需要 备份 节点 在 主 节 点 出 问题 后 承担 工作 。 因 此 从 长 远 考 虑 ， 满 
足 这 个 需求 还 是 自己 实现 比较 合适 。 


6.2.4 消息 订阅 者 订阅 消息 的 方式 


作为 消 刀 中间 件 ， 提 供 对 于 消 轧 的 可 靠 保 证 是 非常 重要 的 事情 。 在 一 些 
场景 中 ， 一 些 下 游 系 统 完全 通过 消 轧 中 间 件 进行 目 身 任务 的 红 动 ， 消 息 


用 ， 也 需要 消息 中 间 件 提供 消息 可 靠 的 保证 。 
这 里 先 来 介绍 一 下 持久 订阅 和 非 持 久 订 阅 这 两 种 订阅 方式 。 


图 6-21 所 示 的 方式 为 非 持久 订阅 ， 含 义 是 消息 接收 者 和 消息 中 间 件 之 间 
的 消息 订阅 的 关系 的 存续 ， 与 消息 接收 者 自身 是 否 处 于 运行 状态 有 直接 
关系 。 也 就 是 说 ， 当 消息 接收 者 应 用 启动 时 ， 就 建立 了 订阅 关系 ， 这 时 
可 以 收 到 消息 ， 而 如 果 消 息 接收 者 应 用 结束 了 ， 那 么 消息 订阅 关系 也 就 
不 存在 了 ， 这 时 的 消息 是 不 会 为 消息 接收 者 保留 的 ， 当 消息 接收 者 应 用 
再 次 启动 后 ， 又 会 重新 建立 订阅 关系 ， 之 后 的 消息 又 可 以 正常 收 到 。 如 
图 6-21 所 示 ， 消 息 接收 者 可 以 收 到 M1、M2、M3、M6、M7、M8 这 6 条 
消息 ， 而 不 会 收 到 M4 和 M5， 因 为 这 两 条 消息 发 送出 来 的 时 候 ， 消 息 接 
收 者 的 应 用 已 经 停止 了 。 


时 消息 接收 者 
间 alive 
线 


消息 接收 者 


alive 


图 6-21 ” 非 持 久 订阅 


图 6-22 展 示 的 是 持久 订阅 方式 ， 可 以 看 到 与 图 6-21 最 大 的 区 别 是 ，M4 和 
M5 这 两 条 消息 发 送 时 ， 虽 然 消 轧 接 收 者 应 用 同样 停止 运行 ， 但 是 还 是 
可 以 接收 到 这 两 条 消息 。 持 入 订 阅 的 含义 是 ， 消 息 订 阅 关 系 一 旦 建立 ， 
除非 应 用 显 式 地 取消 订阅 关系 ， 否 则 这 个 订阅 关系 将 一 直 存 在 。 而 订阅 
关系 建立 后 ， 消 恩 接 收 者 会 接收 到 所 有 消 思 ， 如 宁 消 恩 接 收 者 应 用 停 
和 


消息 接收 者 


间 alive 


消息 接收 者 


alive 


图 6-22 持久 订阅 


因此 ， 要 做 到 可 靠 我 们 应 该 选择 持久 订阅 这 种 订阅 方式 。 


6.2.5 ”保证 消息 可 靠 性 的 做 法 


上 一 节 介 绍 了 消息 订阅 者 订阅 消息 的 方式 ， 我 们 了 解 到 非 持 久 订 阅 不 能 
保证 收 到 所 有 消 思 ， 持 入 订 阅 才能 保证 收 到 所 有 消 思 ， 那 么 ， 在 持久 订 
阅 的 前 担 下 ， 整 个 请 妃 系 统 是 如 何 保证 消 轧 可 靠 的 呢 ? 来 看 一 下 图 6- 
23。 


息 接 收 应 用 | 
[ES 
[em] 


图 6-23 ”消息 系统 示意 图 


从 图 6-23 可 以 看 到 ， 消 轧 从 发 送 端 应 用 到 接收 端 应 用 ， 中 间 有 三 个 阶段 
需要 保证 可 靠 ， 分 别 是 : 消息 发 送 者 把 消息 发 送 到 消息 中 间 件 ， 消 居中 
间 件 把 消息 存 入 消息 存储 ， 消 筷 中 间 件 把 消息 投递 给 消息 接收 者 。 


所 以 我 们 要 保证 这 三 个 阶段 都 可 靠 ， 才 能 够 保证 最 终 消 妃 的 可 靠 。 下 面 
分 别 从 这 几 个 方面 进行 介绍 。 


6.2.5.1 ”消息 发 送 端 可 靠 性 的 保证 


这 是 消息 投递 周期 中 的 第 一 步 ， 这 一 步 并 不 复 洒 ， 需 要 注意 消息 发 送 者 
DW Es 
理 。 


发 送 者 需要 把 消息 的 发 送 结果 准确 地 传 给 应 用 ， 应 用 才能 进行 相关 的 判 
断 和 你 辑 人 处理。 消息 从 发 送 者 发 送 到 消息 中 间 件 ， 只 有 当 消 息 中 间 件 及 
时 、 明 确 地 返回 成 功 ， 才 能 确认 消息 可 靠 到 达 消 息 中 间 件 了 ; 返回 错 
座 、 出 现 异 兽 、 超 时 等 情况 ， 都 表示 消 筷 发 送 到 消 恩 中 间 件 这 个 动作 失 
败 。 这 里 需要 注意 的 是 对 异常 的 处 理 ， 可 能 出 现 的 问题 是 在 不 注意 的 情 
况 下 吃 挥 了 异 征 ， 从 而 导致 错误 的 判断 结 


6.2.5.2 ”消息 存储 的 可 靠 性 保证 


消息 从 发 送 者 发 送 到 消息 中 间 件 后 ， 消 息 存储 是 非常 重要 的 一 个 环节 。 
当 消息 从 发 送 者 端 发 送出 来 后 ， 消 息 的 可 靠 保证 就 靠 存储 了 。 


在 第 1 革 介 绍 计算 机 组 成 时 ， 提 到 过 存储 右 是 计算 机 的 5 个 组 成 部 分 之 
一 ， 存 储 器 又 分 为 内 存 和 外 存 。 内 存 中 的 内 容 断 电 后 会 丢失 ， 而 外 存 中 
的 内 容 则 在 断 电 后 还 可 以 保留 ， 所 以 ， 消 奶 数 据 一 定 要 放 到 外 存储 右 
上 ， 要 进行 持久 的 存储 。 这 会 面临 两 个 选择 : 


。 持久 存储 部 分 的 代码 完全 目 主 实现 。 
。 利用 现 有 的 存储 系统 实现 。 


目 主 实现 持久 存储 的 功能 需要 慎重 。 一 个 成 熟 的 存储 系统 是 需要 长 时 间 
的 努力 、 沉 淀 和 考验 的 。 除 非 有 充分 的 理由 ， 否 则 不 建议 完全 重新 实现 
一 个 持久 存储 。 如 采 针 对 特定 的 场景 ， 目 主 实现 能 够 很 好 地 提升 性 能 、 
人 


采用 现 有 的 存储 系统 会 面临 比较 多 的 选择 ， 有 传统 的 关系 型 数据 库 、 分 
布 式 文件 系统 和 NoSQL 产 品 ， 这 些 类 型 的 产品 各 有 所 长 ， 需 要 在 保证 存 
储 可 靠 性 的 基础 上 ， 依 据 对 消息 存储 的 需求 来 选择 。 


1. 实现 基于 文件 的 消息 存储 


这 里 介绍 一 个 笔者 亲身 经 历 的 案例 。 当 时 的 场景 要 求 能 够 达到 很 高 的 消 
息 吞 吐 量 ， 消 息 的 写 入 速度 要 很 快 ， 并 且 可 以 文 持 对 消息 的 灵活 的 检 
索 ， 但 是 由 于 消息 本 身 不 是 特别 大 (1.5K 左 右 ) ， 因 此 对 消息 的 顺序 不 
十 分 敏感 。 我 们 当时 选择 了 关系 型 数据 库 来 进行 消息 的 存储 ， 并 参考 了 
ActiveMQ 中 的 Kaha Persistence 的 一 个 实现 。 当 时 没有 选择 分 布 式 文件 系 
统 ， 是 因为 那 时 能 够 选择 的 分 布 式 文件 系统 自 呈 的 稳定 性 和 性 能 还 有 待 
改进 ， 此外， 分 布 式 文件 系统 对 消息 灵活 的 检索 是 不 支持 的 ， 需 要 再 进 
行 额 外 的 工作 。 而 没有 选择 NoSQL 的 原因 是 ， 当 时 的 NoSQL 不 像 现在 这 
么 成 熟 和 广泛 使 用 ;， 而 且 在 消息 的 检索 方面 虽然 比分 布 式 文件 系统 容易 
一 些 ， 但 是 也 不 够 直接 ;此 外 ，NoSQL 的 产品 一 般 都 有 很 好 的 扩展 性 ， 
在 数据 量 增 大 时 能 够 很 好 地 进行 数据 迁移 、 扩 容 ， 这 对 于 通用 系统 来 说 
是 个 很 好 的 特性 ， 但 对 于 我 们 当时 需要 的 消息 系统 来 说 并 不 重要 。 另 
外 ， 参 考 Active MQ 的 Kaha Persistence 实 现 的 主要 考虑 是 想 把 消息 直接 
存储 在 本 地 磁盘 ， 而 不 要 额外 的 独立 存储 ， 并 且 针 对 机 械 磁 盘 的 特点 尽 
量 进行 顺序 写 和 顺序 读 。 


我 们 遇 到 的 困难 有 以 下 4 点 。 
第 一 ， 完 全 重 写 一 个 可 靠 的 单机 的 存储 引擎 ， 投 入 还 是 很 大 的 。 


第 二 ， 各 种 场景 的 测试 没有 遇 到 问题 不 代表 没有 问题 ， 很 可 能 是 履 兰 的 
场景 还 不 够 全 面 。 傈 证 存储 的 可 靠 性 挑战 比较 大 。 


第 三 ， 由 于 关注 吞吐 量 不 关注 消 筷 顺 序 ， 会 导致 原本 连续 的 消息 存储 的 
文件 中 有 些 消息 不 需要 了 ， 有 些 需 要 保留 ， 束 会 形成 文件 的 空洞 。 


如 图 6-24 所 示 是 连续 的 消息 存储 的 文件 : 
wm Tw Te Te Tre Tr fo 
we Two vss [va ws [via [vs [ws 


图 6-24 ”文件 中 消息 存储 示意 图 


16 条 消息 按照 顺序 存储 在 消息 的 数据 文件 中 ， 经 过 消息 的 消费 ， 会 产生 
一 些 变化 ， 如 图 6-25 所 示 。 


Te Te Tr pee Tr Te 


momma 


图 6-25 ”文件 空洞 


图 6-25 只 是 展示 了 一 个 文件 的 情况 ， 考 虑 到 单个 文件 的 大 小 ， 我 们 对 消 
轧 的 存储 都 是 一 系列 的 文件 ， 如 果 不 对 这 样 的 空洞 进行 处 理 ， 那 么 这 些 
和 


我 们 对 文件 进行 整理 ， 形 成 图 6-26 所 示 的 新 内 容 。 消 除 空 洞 所 采用 的 做 
法 是 把 需要 保留 的 消息 按照 顺序 写 入 者 文件 ， 然 后 直接 删除 原来 的 文 
件 。 这 相当 于 一 个 持续 的 搬运 过 程 ， 这 个 过 程 会 增加 写 的 负担 。 


we pe Tr Te pve pe 
as ws [vo [vn [var vs [vo [vr 
图 6-26 ”整理 后 的 文件 内 消息 存储 


第 四 ， 对 消息 的 检索 处 理 需 要 考虑 索引 对 内 存 的 消耗 ， 我 们 必须 考虑 到 
索引 不 能 完全 加 载 到 内 存 的 情况 ， 这 涉及 了 内 存 和 磁 强 文件 的 交换 功 
能 ， 也 涉及 了 如 何 能 够 保证 处 理 过 程 的 高 效 。 


可 以 看 到 ， 完 全 实现 消 筷 存 储 需 要 解决 的 问题 还 是 比较 多 的 ， 也 需要 较 
多 的 投入 。 而 如 条 要 提升 单机 存储 的 可 靠 性 ， 应 对 断 电 、 程 序 朋 省 等 问 
题 ， 那 么 殉 要 求 我 们 去 实现 一 些 单机 数据 库存 储 引擎 或 者 一 些 NoSQL 的 
单机 引擎 的 工作 了 。 因此， 我 们 转向 了 采用 现 有 的 数据 库 引 敬 的 实现 。 


2. 采用 数据 库 作 为 消息 存储 


如 果 读 者 研究 过 开源 JMS 的 实现 系统 ， 会 发 现 将 关系 型 数据 库 作为 存储 
肯定 会 被 这 些 开源 JMS 系 统 会 文 持 ， 类 似 ActiveMQ ， 也 会 提供 基于 文件 
的 消 妃 存储 。 在 使 用 关系 型 数据 库 来 存储 数据 时 ， 库 表 设 计 是 比较 关键 
的 一 点 。 在 很 多 JMS 的 开源 实现 中 ， 库 表 设 计 是 相对 比较 复杂 的 ， 表 与 
表 之 间 会 有 一 些 相 互 的 关联 。 


学 习 过 数据 库 理论 的 读者 一 定 会 清晰 地 记得 数据 库 表 设计 的 范式 ， 不 过 
在 大 型 网 站 的 实践 中 ， 很 多 时 候 并 不 会 遵循 这 个 范式 的 设计 ， 更 多 的 是 
考虑 采用 宽 表 、 元 余数 据 的 方式 来 实现 。 


这 里 用 一 个 简单 的 例子 介绍 一 下 数据 见 余 和 宽 表 。 假 设 我 们 有 某 个 学 校 
使 用 的 内 部 系统 ， 系 统 需要 管理 学 生 的 基本 信息 、 课 程 的 选课 信息 、 学 
生成 绩 信 息 ， 那 么 ， 根 据 数 据 库 设计 的 范式 ， 我 们 会 如 下 设计 库 表 ， 如 
表 6-6 至 表 6-9 所 示 。 


表 6-6 ”学 生 信息 表示 例 


学 号 姓名 其 他 基本 信息 字段 


表 6-7 选课 信息 表示 例 


唯一 数字 主键 ”课程 编号 选课 学 生 学 号 


表 6-8 ”学 生成 绩 表 示例 


唯一 数字 主键 ”学 号 课程 编号 课程 成 绩 


表 6-9 ”课程 信息 表示 例 


课程 编号 ”课程 名 称 ”课程 描述 


上 面 的 表 绪 构 只 是 一 个 简单 的 展示 ， 可 以 看 到 ， 我 们 并 没有 元 余数 据 ， 
对 于 学 生 的 基本 信息 和 课程 的 基本 信息 ， 在 需要 时 可 以 通过 表 关 联 的 方 


式 获取 。 例 如， 给 定 一 个 课程 编号 ， 需 要 得 到 所 有 选 该 课 的 同学 的 信 
轧 ， 我 们 只 要 把 学 生 信 息 表 与 选课 信息 表 进 行 天 联 束 可 以 得 到 结果 。 不 
过 需要 注意 的 是 ， 这 里 需要 去 两 个 数据 表 进 行 查 询 ， 这 样 的 关联 没有 单 
表 得 询 的 速度 快 。 如 采 这 个 得 询 需 要 获得 的 学 生 信 息 束 是 姓名 的 话 ， 我 
们 可 以 采用 男 外 一 个 设计 ， 束 是 把 “学 生 姓 名 ”字段 见 余 一 份 放 到 选课 信 
轧 表 中 ， 束 是 如 表 6-10 的 设计 。 


表 6-10 ”有 元 余 的 选课 信息 表示 例 


唯一 数字 主键 ”课程 编号 选课 学 生 学 号 ”学生 姓名 


当然 ， 在 学 生 信息 表 中 仍然 有 这 个 字段 。 可 以 看 到 “学 生 姓 名 ” 束 在 我 们 
数据 库 中 存在 了 两 份 ， 这 了 吉 是 见 余 ， 而 选课 信息 表 也 比 之 前 变 宽 了 “。 如 
条 需要 其 他 的 信息 元 余 ， 表 就 会 更 宽 。 这 种 方式 市 来 的 问题 是 占用 的 空 
间 会 增 大 ， 而 且 要 有 办 法 保证 一 致 性 ， 例 如 学 生 改 名 字 时 ， 各 表 中 
的 “学 生 姓 名 ?字段 都 要 一 致 地 更 改 。 这 种 方式 的 好 处 是 ， 通 过 元 余数 据 
可 以 让 查询 只 走 一 个 表 ， 因 此 提升 了 性 能 。 


回 到 消息 中 间 件 的 设计 ， 我 们 希望 尽量 避免 获取 数据 时 的 表 关 联 查询 ， 
所 以 希望 一 个 消息 只 用 一 个 单行 的 数据 来 解决 。 对 于 消息 来 说 ， 可 以 把 
需要 存储 的 数据 分 为 以 下 三 块 。 

。 消息 的 Header 信 息 


主要 是 指 消息 的 一 些 基 本 信息 ， 例 如 消 轧 Id、 创建 时 间 、 投 递 
次 数 、 优 先 级 、 目 定义 的 键 值 对 属性 等 。 


。 消息 的 Body 
就 是 消息 的 具体 内 容 ， 消 息 的 Body 是 否 与 消息 的 Header 信 息 放 


在 一 条 记录 中 是 需要 考虑 的 。 经 过 分 析 和 验证 ， 我 们 选择 了 把 
人 其 中 一 个 因素 是 消 轧 体 的 内 容 并 不 


。 消 妃 的 投递 对 象 


和 单条 消息 要 投递 到 的 目标 集群 的 ClusterId。 


我 们 下 面 重点 介绍 投递 对 象 。 常 规 想 到 的 方式 应 该 是 下 面 这 样 处 理 ， 如 
表 6-11 和 表 6-12 所 示 。 


表 6-11 消息 表 
消息 1 创建 时 间 消息 内 容 


表 6-12 投递 表 
唯一 1 下 次 投 着 时 间 


我 们 投递 消息 时 天 从 投递 表 中 选取 数据 来 进行 调度 。 看 起 来 没有 很 大 问 
题 ， 不 过 需要 注意 一 点 。 当 消息 进入 数据 库 时 ， 需 要 生成 相关 的 投递 表 
中 的 数据 ， 当 消 乱 的 投递 有 结果 后 ， 也 要 更 新 相应 的 投递 表 的 信息 (如 
果 投 递 成 功 ， 那 么 需要 删除 对 应 的 投递 记录 ; 如 采 投 递 失败 ， 需 要 更 狐 
投递 次 数 以 及 下 次 投递 时 间 ， 一 般 投 递 的 间隔 会 越 来 越 长 ) 。 而 对 投递 
表 的 搬入、 删除 、 更 新 ， 在 单条 消息 订阅 集群 数量 多 时 会 市 来 非常 多 的 
数据 库 记 录 的 操作 ， 引 起 的 性 能 下 降 是 很 历 害 的 。 


对 此 我 们 党 试 把 对 投递 的 记录 放 到 消 恩 表 中 ， 如 表 6-13 所 示 。 
表 6-13 ” 含 投递 记录 的 消息 表 


一 一 


把 投递 列表 直接 合并 到 消息 表 中 会 市 来 如 下 两 个 问题 : 


。 投 逆 弟 列 表 这 个 字段 的 长 度 是 有 限制 的 ， 这 也 残 限 制 了 投递 者 的 数 
量 。 一 个 变通 的 做 法 是 在 单行 放置 多 个 投递 列表 字段 ， 例 如 投递 列 
表 1 、 投 递 列表 2 等 然后 在 消息 中 间 件 中 取出 多 个 字段 的 数据 后 进 
行 整合 

无 法 按照 单独 风 搂 收 痢 来 进行 消息 的 调度 。 投递 表 独 立时 ， 一 方面 
我 们 可 以 根据 消息 Id 来 确定 需要 投递 的 列表 ， 另 外 也 可 以 根据 接收 
者 的 ClusterId 来 确定 哪些 消息 需要 投递 ， 还 可 以 根据 下 次 投递 时 间 
来 进行 消息 投递 的 调度 。 而 把 投递 记录 合并 到 消息 表 后 ， 根 据 消 息 


Id、 下 次 投递 时 间 来 进行 消 妃 投递 调度 还 是 可 以 的 ， 但 是 想 根 据 接 
收 者 的 ClusterId 进 行 调度 则 无 法 直接 做 到 。 我 们 无 法 直接 给 单独 的 
接收 者 ClusterId 建 立 索 引 ， 并 且 调 度 的 粒度 只 能 基于 单条 消息 ， 不 
nn 。 这 年 我 们 提升 性 能 
三 也 . 


我 们 通过 一 个 具体 实例 来 看 一 下 这 两 种 做 法 的 差异 。 假 设 消息 的 订阅 者 
有 3 个 集群 ClusterA、ClusterB 和 ClusterC， 而 对 于 消息 的 消费 来 说 ， 
ClusterA 要 能 比 ClusterB、ClusterC 更 加 及 时 地 处 理 消 息 。 在 正常 的 情况 
下 ， 上 面 两 种 设计 其 实 都 不 会 出 问题 ， 而 在 异常 情况 下 则 会 有 明显 的 不 
同 。 假 设 ClusterA 和 ClusterC 的 集群 整体 出 现 了 问题 ， 而 ClusterB 是 正常 
的 ， 先 看 看 投递 表 独 立 的 情况 ， 这 时 投递 表 中 会 有 大 量 的 ClusterA 和 
ClusterC 的 投递 记录 需要 人 处理 消息 ，ClusterA 恢 复 后 需要 较 快 处 理 堆积 的 
消息 ， 我 们 可 以 根据 ClusterA 来 调度 这 些 堆积 的 消息 ， 而 ClusterC 可 以 慢 
慢 恢 复 。 


但 是 如 果 我 们 把 投递 信息 记录 在 消息 表 中 的 一 个 字段 里 ， 那 么 就 只 能 根 
据 消 息 调 度 ， 我 们 必须 在 ClusterA 恢 复 后 把 可 能 要 投递 给 ClusterA 的 消息 
都 尽快 调度 到 系统 中 ， 确 认 需 要 投递 给 ClusterA 的 话 就 要 尽快 投递 。 这 
种 做 法 是 不 够 经 济 的 ， 尤 其 在 堆积 了 很 多 消息 的 时 候 ， 这 种 处 理 方式 的 
效率 是 比较 低 的 。 这 时 可 以 采用 的 一 个 折 中 做 法 是 ， 为 需要 尽快 调度 的 
集群 建 一 个 投递 表 ， 也 就 是 在 消息 调度 外 增加 一 个 针对 特定 集群 的 调度 
支持 ， 这 种 做 法 看 上 去 不 优雅 ， 不 过 比较 好 用 。 


在 确定 了 库 表 设计 后 ， 我 们 还 需要 考虑 存储 和 目 身 的 安全 。 如 果 采 用 成 熟 
的 关系 型 数据 库 系 统 ， 我 们 吕 不 必 考 虑 单机 本 号 存储 引擎 的 问题 ， 但 是 
如 果 单 机 出 现 硬 件 故障 呢 ? 这 时 就 必须 考虑 数据 的 容 灾 方 案 。 


。 单 机 的 Raid。 笔 者 使 用 Raid10 时 遇 到 过 两 个 副 一 起 坏 的 情况 ， 其 他 
的 单机 Raid 方 式 笔者 没有 用 过 ， 不 过 需要 考虑 单机 本 身 的 安全 性 。 

。 多 机 的 数据 同步 。 这 要 求 不 能 有 延迟 ， 一 般 通 过 存储 系统 自身 的 机 
制 完成 ， 需 要 注意 的 是 数据 复制 的 方式 ， 如 果 复 制 方式 有 延迟 ， 那 
么 也 不 完全 安全 。 

。 应 用 双 写 。 这 和 十 通 过 应 用 来 控制 写 两 份 的 方案 ， 主 要 应 对 的 是 存储 
系统 目 身 数据 复制 有 延迟 的 情况 ， 不 过 这 会 让 应 用 变 得 复杂 。 


如 采 采 用 写 入 多 个 物理 节点 的 方式 ， 考 虑 到 应 用 对 于 写 入 时 间 的 要 求 ， 
这 两 个 节点 之 间 的 距离 不 能 太 大 ， 一 般 是 在 同 机 房 或 同城 较 近 的 两 个 机 
房 ， 否 则 同步 的 双 写 会 导致 过 大 的 延迟 。 可 和 是， 如 果 这 个 城市 出 现 大 面 


积 的 物理 损坏 呢 ? 这 束 需 要 做 异地 的 容 灾 了 ， 如 有 果 要 求 应 用 写 入 延迟 低 
的 话 ， 束 只 能 选择 异步 复制 ， 如 采 接 受 异 地 数据 比 主 写 入 点 的 数据 有 延 
要 么 就 让 写 入 的 应 用 有 较 长 的 等 待 ， 保 证 两 边 都 写成 功 ， 这 需要 权 


3. 基于 双 机 内 存 的 消息 存储 


使 用 文件 系统 或 者 数据 库 来 进行 消息 存储 时 ， 因 为 磁盘 IO 的 原因 ， 系 统 
性 能 都 会 受到 限制 。 一 个 改进 方案 是 用 混合 方式 进行 存储 的 管理 。 我 们 
知道 ， 内 存 的 速度 远 超 磁 盘 ， 但 是 断 电 会 丢失 数据 。 可 以 采用 的 一 个 方 
式 是 用 双 机 的 内 存 来 保证 数据 的 可 和 车， 如 岁 6-27 所 示 。 正 稍 情 况 下 ， 消 
恩 持 入 存储 是 不 工作 的 ， 而 基于 内 存 来 存储 消 轧 则 能 够 提供 很 高 的 吞吐 
量 。 一 旦 一 个 机 器 出 现 故 障 ， 则 停止 男 一 台 机 器 的 数据 写 操 作 ， 并 把 当 
前 数据 落 盘 ， 如 图 6-28 所 示 。 


图 6-27 双 机 内 存 消息 存储 结构 


消息 持久 存储 


图 6-28 ” 双 机 内 存 方 案 的 故障 处 理 


新 消息 不 会 再 进入 ， 而 正常 的 这 台 机 絮 会 把 数据 写 入 持久 存储 中 以 保证 
安全 。 也 束 是 说 ， 只 要 不 遇 到 两 人 台 基 于 内 存 的 消息 中 间 件 机 器 同 时 出 故 
障 的 情况 ， 并 且 当 一 台 出 问题 时 ， 男 一 台 将 当时 内 存 的 消息 写 入 持久 存 
储 的 过 程 中 不 出 问题 的 话 ， 消 息 十 很 安全 的 。 这 种 方式 适合 于 消息 到 了 
人 
性 能 。 


6.2.5.3 ”消息 系统 的 扩容 处 理 


扩容 也 是 一 个 不 可 回避 的 话题 ， 这 里 介绍 一 下 消 妃 中 间 件 自身 的 扩容 以 
及 存储 的 扩容 。 


1. 消息 中 间 件 自身 如 何 扩容 
消息 中 间 件 本 喘 没有 持久 状态 ， 扩 容 相 对 容易 。 主 要 是 让 消息 的 发 送 者 


和 消 恩 的 订阅 者 能 够 感知 到 有 新 的 消息 中 间 件 机 器 加 入 到 了 集群 ， 这 是 
通过 软 负载 中 心 完成 的 ， 软 负载 中 心 会 在 第 7 章 介绍 。 


图 6-29 展 示 了 集群 中 消息 中 间 件 应 用 与 消息 存储 间 的 关系 。 不 同 的 消 胃 
中 间 件 机 器 可 能 会 共用 存储 ， 而 同一 个 消息 中 间 件 机 器 也 可 能 使 用 不 同 
的 存储 ， 这 部 是 为 了 提升 可 靠 性 。 


r=-------------------------------------------------------------| 


消息 中 间 件 1 消息 中 间 件 3 


消息 中 间 件 2 


p> 


图 6-29 ”消息 中 间 件 与 存储 的 关系 


这 里 需要 解决 的 问题 症 ， 在 同一 个 存储 中 如 何 区 分 存储 的 消 轧 是 来 目 于 
哪个 消息 中 间 件 应 用 的 。 我 们 的 解决 方案 是 给 每 条 消息 增加 一 个 server 
标识 的 字段 ， 当 有 新 加 入 的 消息 中 间 件 时 ， 会 使 用 新 的 server 标 识 。 这 
一 方案 需要 应 对 的 问题 是 ， 如 宁 有 消息 中 间 件 应 用 长 期 不 可 用 的 话 ， 我 
们 就 需要 加 入 一 个 和 它 具 有 同样 server 标 识 的 机 器 来 代替 它 ， 或 者 把 通 
过 这 个 消 忌 中 间 件 进入 到 消息 系统 中 但 还 没有 完成 投递 的 消 奶 分 给 其 他 
机 器 处 理 ， 也 束 是 让 男 一 侣 机 器 承担 璋 余 消 息 的 投递 工作 。 


2. 消息 存储 的 扩容 处 理 


因为 存储 的 扩容 涉及 数据 ， 因 此 总 是 很 肪 烦 的 事情 。 不 过 在 我 们 这 个 请 
轧 中 间 件 的 场景 中 ， 有 一 个 天 然 的 优势 可 以 让 存储 扩容 变 得 很 油 单 。 移 
看 一 下 我 们 有 什么 优势 : 


。 不 用 保证 消息 顺序 。 
。 提供 从 服务 如 端 对 消息 投递 的 方式 ， 不 文 持 主动 获取 消息 。 


回忆 一 下 第 5 章 数据 访问 层 中 提 到 的 分 库 分 表 、 路 由 规则 ， 为 了 能 让 外 
部 系统 在 分 库 分 表 的 情况 下 主动 根据 某 些 条 件 进行 数据 和 查询， 就 必须 要 
确切 知道 数据 存储 在 哪个 数据 库 的 哪 张 表 中 ， 对 这 种 情况 的 扩容 就 比较 
复杂 ， 第 5 章 也 提 到 了 一 些 方案 。 现在 我 们 的 消息 中 间 件 的 场景 回避 了 


这 个 操作 ， 也 就 是 说 我 们 其 实 是 不 需要 支持 外 部 主动 根据 条 件 (例如 消 
息 1d) 来 查询 消息 的 ， 这 是 怎么 做 到 的 呢 ? 


。 首先 ， 消 息 发 送 到 消息 中 间 件 时 ， 消 息 中 间 件 把 消息 入 库 ， 这 时 消 
恩 中 间 件 是 明确 知道 消息 存储 在 哪里 的 ， 并 且 会 进行 消息 的 投递 调 
度 ， 所 以 ， 一 定 能 找到 消息 。 

其 次 ， 由 于 在 内 存 中 进行 调度 的 消息 数量 有 限 (受制 于 内 存 限 
制 ) ， 因 此 我 们 会 调度 存储 在 数据 库 中 的 消息 。 而 在 调度 时 ， 我 们 
更 关心 的 是 那些 符合 发 送 条件 的 消 思 ， 所 以 这 个 调度 必然 是 需要 路 
所 有 库 和 表 的 ， 而 这 个 过 程 中 ， 需 要 投递 的 消 恩 会 把 相关 索引 信息 
es 
廊 护 信息。 


总 体 来 说 ， 我 们 是 通过 服务 端 主动 调度 安排 投递 的 方式 绕 开 了 根据 消 奶 
Id 取 消息 这 个 动作 ， 所 以 可 以 实现 数据 库存 储 的 便利 扩容 。 


6.2.5.4 ”消息 投递 的 可 靠 性 保证 

1. 消息 投递 简介 

最 后 一 步 是 消息 的 投递 ， 这 一 步 和 发 送 者 发 消息 类 似 ， 处 理 相对 简单 。 
特别 需要 注意 的 是 ， 消 息 中 间 件 需要 显 式 地 收 到 接收 者 确认 消息 处 理 完 


毕 的 信号 才能 删除 消 轧 。 消息 中 间 件 不 能 够 依据 网 络 层 判断 消息 是 否 已 
人 


消息 接收 者 需要 特别 注意 的 是 ， 不 能 在 收 到 消息 、 业 务 没 有 处 理 完 成 时 
束 去 确认 消 居 。 此 外 ， 需 要 特别 注意 的 仍然 是 消息 接收 者 在 处 理 消息 的 
过 程 中 对 于 寞 党 的 处 理 ， 于 万 不 要 吃 掉 异 常 然后 确认 消息 处 理 成 功 ， 这 
样 束 会 “于 ”消息 了 ， 在 实战 中 也 多 次 发 生 过 这 样 的 例子 。 


2. 投递 处 理 的 优化 

在 处 理 投递 时 ， 不 同 的 投递 处 理 方式 会 产生 不 同 的 结 

投递 处 理 的 第 一 个 可 优化 之 处 是 ， 在 进行 投递 时 一 定 要 采用 多 线程 的 方 
式 处 理 。 通 过 介绍 可 以 看 到 我 们 是 针对 单条 消息 来 进行 调度 ， 一 种 方式 


是 每 个 线程 处 理 一 个 消息 并 且 等 待 处 理 结束 后 再 进行 下 一 条 消息 的 处 
理 。 每 个 线程 处 理 一 条 消息 时 ， 会 得 到 需要 接收 该 消息 的 订阅 者 集群 1d 


列表 ， 然 后 从 每 个 订阅 者 集群 Id 中 选择 一 个 连接 来 处 理 ， 请 息 投 递 后 需 
要 等 得 结 采 ， 然 后 统一 更 新 消息 表 中 的 消 乱 状态 。 这 种 方式 在 正常 情况 
下 没有 问题 ， 而 直到 异 第 情况 时 ， 例 如 订阅 着 集群 中 有 一 个 很 慢 的 订阅 
者 (这 个 场景 与 我 们 之 前 在 服务 框架 中 看 到 的 某 个 操作 很 慢 的 情况 类 
似 ) ， 负 责 投 递 的 所 有 线程 会 慢 慢 地 被 堵 死 ， 因 此 都 需要 等 待 这 个 慢 的 
订阅 者 的 返回 。 


我 们 可 以 采用 的 另 一 种 方式 是 ， 把 处 理 消 息 结 果 返 回 的 处 理工 作 放 到 另 
外 的 线程 池 中 来 完成 ， 也 就 是 投递 线程 完成 消息 到 网 络 的 投递 后 就 可 以 
接着 处 理 下 一 个 消息 ， 保 证 投递 的 环 市 不 会 被 墙 死 。 而 等 得 返回 结果 的 
消息 会 先 放 在 内 存 中 ， 不 占用 线程 货源 ， 等 有 了 最 后 的 结果 时 ， 再 放 入 
另外 的 线程 池 中 处 理 。 这 种 方式 把 占用 线程 池 的 等 待 方式 变 为 了 靠 网 络 
收 到 消息 处 理 结果 后 的 主动 啊 应 方式 。 


收 到 消息 的 处 理 结果 后 ， 更 新 数据 库 的 操作 也 有 一 个 小 但 很 重要 的 优 
化 ， 屠 就是 通过 数据 库 的 bateh 玉 处理 消 和 的 更 新 、 币 除 操作 ， 从 而 提升 
性 能 。 

我 们 接着 来 看 投递 处 理 的 第 二 个 可 优化 之 处 。 我 们 有 可 能 遇 到 这 样 的 场 


景 ， 即 一 个 应 用 上 有 多 个 订阅 者 订阅 同样 的 消 思 ， 如 果 不 以 加 优化 ,我 
们 会 向 这 个 机 器 发 送 多 次 同样 的 消息 (如 图 6-30 所 示 ) 。 可 以 进行 的 优 


化 有 如 下 两 点 。 
消息 中 间 件 


图 6-30 订阅 端 消息 的 重复 接收 
。 单 机 多 订阅 者 共计 连接 。 


。 消 息 只 发 送 一 次 ， 然 后 传 到 单机 的 多 订阅 者 生成 多 个 实例 处 理 (如 
图 6-31 所 示 ) 。 


消息 中 间 件 


图 6-31 ”优化 后 的 消息 接收 去 重 


从 图 6-31 可 以 看 到 ， 对 于 同样 的 消息 ， 消 轧 中 间 件 只 需要 癌 应 用 发 一 次 
消息 ， 应 用 内 部 再 根据 本 机 的 不 同 模块 的 订阅 情况 进行 一 次 派发 。 


订阅 者 视角 的 消息 重复 的 产生 和 


上 一 节 介 绍 了 消息 的 投递 可 靠 性 ， 可 以 说 需要 用 各 种 方式 来 保证 消 妃 不 
丢失 。 本 世 我 们 来 看 一 看 消息 重复 的 问题 。 


6.2.6.1 ”消息 重复 的 产生 原因 
有 哪些 原因 会 产生 消息 重复 呢 ? 主要 有 下 面 两 大 类 原因 。 
第 一 类 原因 是 消息 发 送 端 应 用 的 消息 重复 发 送 ， 有 以 下 几 种 情况 。 


。 消息 发 送 问 发 送 消 轧 给 消息 中 间 件 ， 消 恩 中 间 件 收 到 消 恩 并 成 功 存 
储 ， 而 这 时 消 妃 中 间 件 出 现 了 问题 ， 导 致 应 用 端 没 有 收 到 消 轧 发 送 
成 功 的 返回 ， 因 而 进行 重 试 产生 了 重复 。 

。 消 轧 中 间 件 因为 负载 高 啊 应 变 慢 ， 成 功 把 消息 存储 到 消息 存储 中 
后 ， 返 回 “ 成 功 ” 这 个 结果 时 超时 。 

。 请 息 中 间 件 将 消息 成 功 写 入 消息 存储 ， 在 返回 结果 时 网 络 出 现 问 
题 ， 导 致 应 用 发 送 端 重 坛 ， 而 重 试 时 网 络 恢复 ， 由 此 导致 重复 。 


可 以 看 到 ， 通 过 消息 发 送 端 产生 消息 重复 的 主要 原因 是 消息 成 功 进 入 消 
恩 存 储 后 ， 因 为 各 种 原因 使 得 消息 发 送 妆 没 有 收 到 “成 功 ” 的 返回 结 琳 ， 
并 且 义 有 重 试 机 制 ， 因 而 导致 重复 。 一 个 解决 办 法 是 ， 重 试 发 送 消 乱 时 
使 用 同样 的 消 轧 Id， 而 不 要 在 消 轧 中 间 件 端 产生 消 轧 Id， 这 样 可 以 避免 
这 类 情况 的 发 生 。 


第 二 类 原因 是 消息 到 达 了 消息 存储 ， 由 消 乱 中 间 件 进行 向 外 的 投递 时 产 
生 重 复 ， 有 以 下 几 种 情况 。 


消 思 被 投递 到 请 轧 接 收 者 应 用 进行 处 理 ， 处 理 完毕 后 应 用 出 问题 
了 ， 消 息 中 间 件 不 知道 消息 处 理 结 采 ， 会 再 次 投递 。 

消息 被 投递 到 消 妃 接收 者 应 用 进行 处 理 ， 处 理 完 毕 后 网 络 出 现 问题 
了 ， 消 忌 中 间 件 没有 收 到 消息 处 理 结果 ， 会 再 次 投递 。 

消 恩 被 投递 到 消 乱 接收 者 应 用 进行 处 理 ， 处 理 时 间 比 较 长 ， 消 奶 中 
间 件 因为 消息 超时 会 再 次 投递 。 

消息 被 投递 到 消 妃 接收 者 应 用 进行 处 理 ， 处 理 完 毕 后 消息 中 间 件 出 
问题 了 ， 没 能 收 到 请 妃 结 果 并 处 理 ， 会 再 次 投递 。 

消息 被 投递 到 消 筷 接收 者 应 用 进行 处 理 ， 处 理 完毕 后 消息 中 间 件 收 
人 
递 。 


可 以 看 到 ， 在 投递 过 程 中 产生 的 消息 重复 接收 主要 是 因为 消 居 接收 老成 
切 处 理 完 消 思 后， 消 思 中 间 件 不 能 及 时 更 新 投递 状态 造成 的 。 那 么 有 什 
0 不 过 这 种 方式 比较 复 

成 本 也 高 。 男 一 种 方式 是 要 求 消息 接收 者 来 处 理 这 种 重复 的 情况 ， 
们 训 必 委 东周 筷 报 收 阁 提灌 包 外 埋 是 居 寺 操作 ， 


a (idempotence) 是 一 个 数学 概念 ， 常 见于 抽象 代数 中 。 有 两 种 主要 
J 定义 : 


。 在 某 二 元 运算 下 ， 需 等 元 素 是 指 被 自己 重复 运算 (或 对 于 函数 是 为 
复合 ) 的 结果 等 于 它 自身 的 元 素 。 

。 某 一 元 运算 为 需 等 的 时 ， 其 两 次 作用 在 任 一 元 素 后 会 和 其 作用 一 次 
的 结果 相同 。 例 如 ， 高 斯 符号 便 十 各 等 的 。 


对 于 消 恩 接收 站 的 情况 ， 品 等 的 含义 是 采用 同样 的 输入 多 次 调用 处 理 函 
数 ， 会 得 到 同样 的 结果 。 例 如 ， 一 个 SQL 操 作 : 


update stat_ table set count = 10 where id = 1; 


这 个 操作 多 次 执行 ，id 等 于 1 的 记录 中 的 count 字 段 的 值 都 为 10， 这 个 操 
作 束 是 人 需 等 的 ， 我 们 不 用 担心 这 个 操作 被 重复 。 当 然 ， 这 个 SQL 中 的 数 
字 10 可 以 古来 自 消 息 体 的 一 个 输入 。 


再 来 看 男 外 一 个 SQL 操 作 : 


update stat_ table set count = count+1 where id = 1; 


这 样 的 SQL 操 作 就 不 是 吕 等 的 ， 一 旦 重复 ， 结 果 束 会 产生 变化 。 
因此 应 对 消 乱 重复 的 办 法 十 ， 使 消 乱 接收 端的 处 理 十 一 个 占 等 操作 。 


位 的 做 法 际 低 了 消息 中 则 件 的 整体 复杂 人 性， 不 过 也 给 使 用 消息 中 国 件 的 
消息 接收 端 应 用 带 来 了 一 定 的 限制 和 门槛 。 


6.2.6.2 JMS 的 消息 确认 方式 与 消息 重复 的 关系 


在 JMS 中 ， 消 妃 接 收 端 对 收 到 的 消 妃 进行 确认 ， 有 以 下 几 种 选择 。 
。AUTO_ACKNOWLEDGE 


这 是 目 动 确 认 的 方式 ， 束 是 说 当 JMS 的 消息 接收 者 收 到 消息 
后 ，JMS 的 客户 端 会 自动 进行 确认 。 但 是 确认 时 可 能 消息 还 没 
来 得 及 处 理 或 者 尚未 处 理 完 成 ， 所 以 这 种 确认 方式 对 于 消息 投 
逮 处 理 来 说 是 不 可 徘 的 。 


CLIENT_ ACKNOWLEDGE 


这 是 客户 端 自己 确认 的 方式 ， 也 就 是 说 客户 端 如 果 要 确认 消息 
处 理 成 功 ， 告 诉 服务 端 确 认 信息 时 ， 需 要 主动 调用 Message 接 
口 的 acknowledge(0) 方 法 以 进行 消息 接收 成 功 的 确认 。 这 种 方式 
把 控制 权 完 全 交 给 了 接收 消息 的 客户 端 应 用 。 

DUPS OK ACKNOWLEDGE 

这 种 方式 是 在 消息 接收 方 的 消息 处 理 函 数 执行 结束 后 进行 确 
认 ， 一 方面 保证 了 消息 一 定 是 处 理 结 束 后 才 进 行 确认 ， 另 外 一 
人 端 主动 调用 Message 接 口 的 acknowledge() 方 
2 

上 述 三 种 确认 方式 是 通过 JMS 的 Connection 在 创建 Queue 或 者 Topic 时 设置 
了 时。 


从 上 面 可 以 看 到 ， 消 息 接 收 者 对 于 消息 的 接收 会 出 现下 面 两 种 情况 。 
。 at least once (至 少 一 次 ) 
人 就 是 说 消息 被 传 给 消息 接收 者 至 少 一 次 ， 也 可 能 多 
于 一 次 ， 这 种 情况 类 似 前 面 小 节 的 消息 重复 处 理 的 情况 。 采 用 
DUPS OK ACKNOWLEDGE 或 CLIENT ACKNOWLEDGE 模 
式 并 且 在 处 理 消息 前 没有 确认 的 话 ， 束 可 能 产生 这 种 现象 。 


at most once (至 多 一 次 ) 


至 多 一 次 ， 这 是 采用 AUTO ACKNOWLEDGE 或 
CLIENT ACKNOWLEDGE 模 式 并 且 在 接收 到 消 已 后 就 立刻 人 确 
认 时 会 产生 的 情况 。 也 就 是 说 ， 消 息 从 消息 中 间 件 送 达 接收 端 


后 束 立 刻 进行 了 确认 ， 而 如 果 这 时 接收 端 出 现 问题 ， 那 就 没有 
机 会 处 理 这 个 消息 了 ， 所 以 是 at most once 。 


6.2.7 ”消息 投递 的 其 他 属性 支持 


前 面 我 们 重点 介绍 了 消息 的 可 靠 性 、 投 递 的 重复 以 及 消息 确认 方式 ， 接 
下 来 我 们 看 一 下 在 消息 投递 的 过 程 中 还 有 哪些 属性 文 持 。 


1. 消息 优先 级 


一 般 情况 下 消 奶 十 和 完 到 先 投 递 ， 消 恩 优 先 级 的 属性 可 以 支持 根据 优先 级 
(而 不 是 依据 到 达 消 息 中 间 件 的 时 间 ) 来 确定 投递 顺序 ， 优 先 级 高 的 消 
恩 即 使 到 达 消 恩 中 间 件 的 时 间 较 晚 ， 也 可 以 被 优先 调度 。 


男 外 在 实践 中 会 把 消息 分 为 不 同类 型 ， 对 于 不 同类 型 进行 不 同 的 处 理 ， 
这 可 以 部 分 完成 优先 级 属性 的 工作 。 不 过 对 于 同 种 类 型 的 消息 还 是 需要 
优先 级 属性 来 进行 区 分 。 


2. 订阅 者 消息 处 理 顺 序 和 分 级 订阅 


一 般 来 说 ， 消 息 的 多 个 订阅 者 之 间 是 独立 的 ， 它 们 对 消息 的 处 理 并 不 会 
相互 造成 影响 。 不 过 在 一 些 特殊 场景 中 ， 对 于 同样 的 消息 ， 可 能 会 希望 
有 些 订阅 者 处 理 结 束 后 再 让 其 他 订阅 者 处 理 。 对 于 这 样 的 情况 ， 一 种 方 
案 是 可 以 设 定 优先 处 理 的 订阅 集群 ， 也 就 是 我 们 这 里 的 订阅 者 消息 处 理 
顺序 的 属性 ， 可 以 在 这 个 字段 中 设置 有 些 处 理 的 集群 1d;， 男 一 种 方案 是 
分 级 订阅 ， 如 图 6-32 所 示 。 


消息 中 间 件 


消息 中 间 件 


优先 接收 者 


图 6-32 “分 级 订阅 结构 


我 们 把 优先 接收 者 和 一 般 接 收 者 的 接收 分 开 ， 一 般 接 收 者 处 理 成 功 后 主 
动 把 消息 投递 到 另外 的 消息 中 间 件 〈 也 可 以 换 一 个 消息 类 型 ) ， 然 后 一 
般 接 收 者 接收 新 产生 的 消 思 。 这 样 的 做 法 不 需要 消 轧 中 间 件 去 做 额外 的 
文 持 ， 不 过 相当 于 重新 发 了 消息 ， 会 多 一 次 消息 入 库 等 操作 。 


3. 自 定义 属性 


消 肯 目 身 的 创建 时 间 、 类 型 、 投 递 次 数 等 属性 属于 消 恩 的 基础 属性 ， 在 
消 奶 体外 ， 支 持 目 定义 的 属性 会 很 便利 ， 例 如 后 面 会 提 到 的 服务 端 消息 
过 滤 ， 以 及 接收 端 对 于 消 轧 的 处 理 ， 有 了 这 个 目 定义 属性 会 方便 很 多 。 
这 个 自 定 义 的 属性 类 似 于 HTTP 的 Header， 一 般 是 对 于 这 条 消息 的 抽象 
描述 ， 方 便服 务 端 和 接收 端 快速 获取 这 条 消息 中 的 重要 信息 。 


4. 局 部 顺序 


在 前 面 的 小 节 中 提 到 过 消息 有 序 和 为 了 吞吐 量 而 放弃 顺序 ， 这 里 要 讲 的 
一 个 概念 是 局 部 顺序 。 局 部 顺序 是 指 在 众多 的 消 轧 中， 和 某 件 事情 相关 
的 多 条 消息 之 间 有 有 顺序， 而 多 件 事情 之 间 的 消 轧 则 没有 顺序 。 举 个 交易 
的 例子 吧 ， 在 交易 网 站 上 每 天 产生 的 交易 很 多 ， 并 且 是 由 很 多 人 产生 
的 ， 那 么 不 同人 之 间 以 及 同一 个 人 的 不 同 笔 区 易 之 间 的 消 妃 其 实 是 相互 


无 关 的 ， 不 必 保 持 顺 序 ， 但 是 对 于 同一 笔 交 易 的 状态 变化 所 产生 的 请 
轧 ， 保 证 其 顺序 是 很 有 价值 的 。 


我 们 看 一 个 具体 例子 。 假 设 线 上 交易 产生 的 消息 状态 依次 是 : 创建 一 付 
款 - 发 货 一 确认 ， 现 在 有 两 笔 独 立 的 交易 进行 ， 在 没有 局 部 顺序 属性 时 
会 是 下 面 这 样 的 情况 (如 图 6-33 所 示 ) 。 


交易 创建 -A_ 


交易 付款 -A 
交易 发 货 A | 

! 
交易 确认 -A | 


' 
' 
] 
' ' 
| [到 人 1 款 6 | | 
| [交易 发 贷 -A | ; 
' ' 
] 
' 
] 
| 


> seen | 


图 6-33 ”无 顺序 消息 进入 消息 中 间 件 的 情况 


图 6-33 中 显示 了 两 笔 区 易 目 身 状 态 的 变化 ， 以 及 这 些 状态 变化 产生 的 消 
恩 进入 消息 中 间 件 的 情况 。 在 完全 有 序 的 情况 下 ， 如 果 这 些 消 息 都 能 顺 
利 处 理 ， 束 不 会 出 现 什 么 问题 ;而 如 果 因 为 数据 的 原因 或 者 程序 的 原因 
寻 致 某 条 消息 总 是 处 理 失 败 ， 那 么 为 了 保证 处 理 顺 序 ， 后 面 的 请 轧 束 会 
等 待 前面 这 一 条 消 轧 处 理 完毕 后 才 接 着 处 理 。 而 对 于 不 管 顺序 的 方式 ， 
因为 每 笔 区 易 的 状态 本 喘 是 有 顺序 的 ， 如 果 前 面 一 个 状态 没 能 被 成 功 处 
理 ， 后 面 即 便 调 度 到 了 处 理 ， 也 是 简单 地 返回 失败 ， 因 为 需要 等 竺 前 一 
个 状态 的 处 理 。 


所 以 ， 我 们 和 硕 望 达到 的 是 局 部 顺序 ， 即 交易 A 的 状态 改变 的 各 条 消 筷 之 
间 有 顺序 ， 交 易 B 的 状态 改变 的 各 条 消 妃 之 间 也 有 有 顺序， 但 A 和 B 之 间 的 
消 恩 互 不 影响 ， 如 图 6-34 所 示 。 


图 6-34 消 忌 司 部 顺序 示意 图 


也 就 是 说 在 消 轧 中 间 件 内 部 ， 有 非常 多 的 逻辑 上 独立 的 队列 。 文 持 局 部 
有 序 需 要 消 恩 上 有 一 个 关键 的 属性 ， 即 区 分 某 个 消息 应 该 与 哪些 消息 一 
起 排队 的 属性 字段 。 


6.2.8 ”保证 顺序 的 消 忆 队 列 的 设计 


前 面 的 内 容 主要 古 在 讲解 如 何 能 够 可 靠 、 高 效 地 进行 消息 处 理 ， 而 在 投 
冰 属 性 的 消 奶 局 部 顺序 其 实 也 引出 了 男 一 种 场景 ， 只 是 例子 中 的 局 部 顺 
序 的 队列 不 长 ， 但 是 实际 中 会 有 非常 多 的 这 种 队列 。 而 随 着 场景 的 不 
同 ， 我 们 需要 一 种 高 效 的 支持 顺序 地 多 集群 订阅 的 消息 中 间 件 的 实现 。 


这 里 是 另 一 种 实现 ， 主 要 是 因为 这 里 面 的 场景 和 应 对 的 方案 与 前 面 局 部 
顺序 中 的 有 很 大 不 同 。 虽 然 两 个 场景 都 需要 文 持 多 集群 消息 订阅 ， 但 是 
在 消息 订阅 者 端 对 于 消息 的 处 理 有 很 大 差别 。 我 们 在 前 面 的 做 法 (包括 
放弃 对 顺序 的 支持 ) 的 原因 之 一 是 ， 同 一 个 消息 订阅 者 处 理 不 同 的 消 
恩 ， 成 功 与 否 可 能 会 跟 消 恩 自身 的 内 容 相 关 ;， 而 现在 要 介绍 的 场景 一 般 


站 


我 们 看 一 个 具体 例子 。 在 给 手机 充值 的 交易 当中 ， 每 一 笔 充值 会 有 “ 创 
建交 易 一 付款 成 功 - 确 认 充 值 * 的 状态 。 当 付 球 消息 发 出 来 后 ， 人 负责 充 
值 的 系统 会 收 到 这 个 消息 然后 进行 充值 ， 这 时 能 否 充 值 成 功 不 仅 和 人 负责 
充值 的 合作 伙伴 是 否 可 用 有 关 ， 还 与 我 们 的 消息 内 容 有 关 。 例 如 ， 输 入 
的 是 一 个 长 度 合法 但 实际 并 不 存在 的 手机 号 时 ， 充 值 一 定 会 失败 ， 那 么 
这 个 付款 消 息 殉 无 法 处 理 成 功 ， 而 另外 一 笔 充 值 区 易 中 ， 如 宁 号 码 征 正 
确 的 ， 那 么 束 能 处 理 成 功 了 。 所 以 ， 在 这 个 场景 下 消息 处 理 是 否 成 功 与 
消息 体 中 的 内 容 古 相关 的 。 

再 看 男 外 一 个 例子 。 进 行 数据 复制 时 ， 源 数据 库 上 的 数据 变更 变 成 消 乱 
进入 消息 中 间 件 ， 这 时 只 要 目标 数据 库 可 用 ， 这 个 处 理 束 会 成 功 ， 而 不 
会 出 现 菜 些 记录 成 功 男 外 一 些 记录 失败 的 情况 ， 这 就 与 内 容 没 有 密切 的 


IN 


在 这 样 的 场景 下 ， 一 个 吞吐 量 大 且 文 持 顺 序 的 销 思 中间 件 是 很 有 价值 
的 。 前 面 介绍 数据 访问 层 的 章节 中 ， 拓 到 过 数据 变更 通知 平台 ， 束 古 使 
用 这 种 类 型 的 消息 中 间 件 的 一 个 具体 场景 。 


此 外 ， 在 这 个 场景 下 ， 对 于 接收 端的 设计 也 从 原来 的 推 (Push) 模式 变 
为 了 拉 (Pull) 模式 ， 这 也 是 为 了 让 消息 接收 者 可 以 更 好 地 控制 消息 的 
接收 和 处 理 ， 而 消息 中 间 件 目 喘 的 逻辑 也 进行 了 人 简化。 


完 看 一 下 整体 的 结构 图 吧 ， 如 图 6-35 所 示 。 在 消息 中 间 件 内 部 ， 有 多 个 
物理 上 的 队列 ， 进 入 到 每 个 队列 的 消息 则 是 严格 按照 顺序 被 接收 和 消费 
的 ， 而 消 妃 中 间 件 单机 内 部 的 队列 之 间 是 互 不 影响 的 。 


图 6-35 ”保证 顺序 的 消息 队列 结构 


具体 实现 中 ， 消 息 的 存储 就 写 到 本 地 文件 中 了 ， 采 用 的 是 顺序 写 入 的 方 
式 ， 其 基本 思路 与 本 章 开 始 所 讲 的 基于 文件 的 存储 比较 类 似 ， 也 十 为 了 
提升 写 入 的 效率 。 二 者 的 差别 是 ， 这 个 场景 中 不 存在 文件 的 空洞 ， 因 为 
消 恩 必须 按照 顺序 去 消费 ， 所 以 ， 一 个 消 妃 接收 者 在 每 一 个 它 所 接收 的 
消息 列队 上 有 一 个 当前 消费 消息 的 位 置 ， 对 于 这 个 接收 者 来 说 ， 这 个 位 
置 之 前 的 消息 就 已 经 完成 消费 了 。 在 同一 个 列队 中 ， 不 同 的 消费 者 分 别 
维护 目 己 的 指针 ， 并 且 通 过 指针 的 回 滴 ， 可 以 把 消息 的 消费 恢复 到 之 前 
的 某 个 位 置 继续 处 理 ， 如 图 6-36 所 示 。 如 果 有 业务 等 的 需要 (例如 消息 
需要 补 发 ) ， 那 么 移动 接收 端的 消费 消息 的 位 置 指针 就 可 以 完成 了 。 在 
这 样 的 方式 下 ， 接 收 端 有 比较 大 的 目 主 控制 权 。 而 对 于 消息 中 间 件 来 
说 ， 重 要 的 是 保证 请 息 安全 ， 然 后 根据 接收 端 提 供 的 位 置 获取 消息 传 给 
接收 问 就 可 以 了 。 


图 6-36 ”接收 端的 消息 接收 回溯 支持 


6.2.8.1 单机 多 队列 的 问题 和 优化 


单机 多 队列 的 隔离 完成 了 对 消息 的 有 序 支 持 。 在 具体 工程 中 ， 如 有 果 单 机 
的 队列 数量 特别 多 ， 性 能 束 会 有 明显 的 下 降 ， 原 因 是 队列 数量 很 多 时 ， 

消息 写 入 整 接 近 于 随机 写 了 。 一 个 改进 措施 是 把 发 送 到 这 台 机 右 的 消 乱 
数据 进行 顺序 写 入 ， 然 后 再 根据 队列 做 一 个 和 索引， 每 个 队列 的 索引 走 独 
立 的 ， 其 中 保存 的 只 是 相对 于 存储 数据 的 物理 队列 的 索引 位 置 ， 如 网 6- 
和 在 单机 上 ， 物 理 队列 的 数量 的 设置 与 


图 6-37 ”数据 与 索引 队列 


这 样 改进 后 带 来 的 好 处 是 : 
。 队列 轻 量化 ， 单 个 队列 数据 量 非常 少 。 
。 对 们 盘 的 访问 串 行 化 ， 避 免 微 一 竞争 ， 不 会 因为 队列 增加 导致 
IOWAIT 增 高 。 


及 用 这 个 方案 可 必 请 除 原 炒 入 重 的 数据 的 随机 写 ， 但 乱世 有 月 吴 的 人 


写 虽 然 完 全 是 顺序 写 ， 但 是 读 却 变 成 了 完全 的 随机 读 。 
读 一 条 消息 时 ， 会 先 读 逻 辑 队 列 ， 再 读物 理 队 列 ， 增 加 了 开销 。 
需要 保证 物理 队列 与 逻辑 队列 完全 一 致 ， 增 加 了 编程 的 复杂 度 。 


对 上 述 三 个 缺点 需要 进一步 改进 ， 以 克服 或 者 降低 影响 : 


。 随机 读 ， 尽 可 能 让 读 命 中 PAGECACHE,， 减少 IO 读 操作 ， 所 以 内 存 
越 大 越 好 。 如 果 系 统 中 堆积 的 消息 过 多 ， 读 数据 访问 磁盘 时 会 不 会 
由 于 随机 读 导 致 系统 性 能 急剧 下 降 呢 ? 答案 是 否定 的 。 

o 访问 PAGECACHE 时 ， 即 使 只 访问 IKB 的 消息 ， 系 统 也 会 提前 
预 读 出 更 多 数据 ， 在 下 次 读 时 ， 就 可 能 命中 内 存 。 

o 随机 访问 物理 队列 磁盘 数据 时 ， 系 统 IO 调度 算法 设置 为 NOOP 
方式 ， 会 在 一 定 程度 上 将 完全 的 随机 读 变 成 顺序 跳跃 读 的 方 
式 ， 而 顺序 跳跃 读 会 比 完 全 的 随机 读 的 性 能 高 5 倍 以 上 。 另 外 
4KB 的 消息 在 完全 随机 访问 情况 下 ， 仍 然 可 以 达到 每 秒 10000 
次 以 上 的 读 性 能 。 

。 由 于 逻辑 队列 存储 数据 量 极 少 ， 而 且 是 顺序 读 ， 在 PAGECACHE 预 
读 作 用 下 ， 逻 辑 队列 的 读 性 能 几乎 与 内 存 一 致 〈 即 使 在 堆积 情况 下 
也 如 此 ) 。 所 以 可 以 忽略 逻辑 队列 对 读 性 能 的 阻碍 。 

。 物 理 队 列 中 存储 了 所 有 的 元 信息 ， 类 似 于 MySQL 的 binlog、Oracle 
的 redolog， 所 以 只 要 有 物理 队列 在 ， 即 使 逻辑 队列 数据 丢失 ， 仍 然 
可 以 恢复 回来 。 


6.2.8.2 ”解决 本 地 消息 存储 的 可 靠 性 


消息 的 可 靠 性 永远 是 一 个 很 重要 的 话题 ， 在 这 个 方案 中 我 们 考虑 采用 消 
恩 同 步 复 制 的 方式 解决 可 靠 性 的 问题 。 


。 把 单个 的 消息 中 间 件 机 器 变 为 主 (Master) 备 (Slave) 两 个 节点 ， 
Slave 廊 点 订阅 Master 节 点 上 的 所 有 消息 ， 以 进行 消息 的 备份 。 不 过 
需要 注意 这 是 一 个 异步 的 操作 ，Slave 订 阅 收 到 的 消息 总 会 比 Master 
略 少 一 些 ， 存 在 着 丢失 消息 的 可 能 。 这 种 方式 比较 类 似 于 MySQL 的 
replication 。 

同样 是 把 单个 节点 扩展 到 Master/Slave 两 个 节点 ， 但 是 采用 的 是 同步 
复制 的 方式 ， 而 非 订 阅 的 方式 ， 也 就 是 说 Master 收 到 消 轧 后 会 主动 
Sd 
少时 。 


人 


6.2.8.3 ”如 何 支 持 队 列 的 扩容 


扩容 是 整个 系统 中 一 个 很 重要 的 环节 。 在 保证 顺序 的 情况 下 进行 扩容 的 
难度 会 更 大 。 基本 的 策略 是 让 向 一 个 队列 写 入 数据 的 消息 发 送 者 能 够 知 
道 应 该 把 消息 写 入 迁移 到 新 的 队列 中 ， 并 且 也 需要 让 消 轧 订阅 者 知道 ， 
当前 的 队列 消费 完 数据 后 需要 迁移 到 新 队列 去 消费 消息 (如 图 6-38 所 


示 ) 


图 6-38 ”扩容 示意 图 


其 中 有 如 下 几 个 关键 点 : 
。 原 队列 在 开始 扩容 后 需要 有 一 个 标志 ， 即 便 有 新 消息 过 来 ， 也 不 再 


女 

。 通 知 少 居 发 送 端 新 的 队列 的 位 置 。 

。 对 于 消息 接收 端 ， 对 原来 队列 的 定位 会 收 到 新 上 昌 两 个 位 置 ， 当 旧 队 
列 的 数据 接收 完毕 后 ， 则 会 只 关心 新 队列 的 位 置 ， 完 成 切换 。 


6.2.9 Push 和 Pul 方 式 的 对 比 


在 本 革 我 们 介绍 了 两 种 消息 中 间 件 的 实现 方式 一 一 Push 和 Pull， 它 们 解 
决 不 同 场景 的 问题 ， 这 里 看 一 下 两 者 的 对 比 ， 如 表 6-14 所 示 。 


表 6-14 ”Push 和 Pull 方 式 的 对 比 


Push Pull 
数据 传输 状态 傈 存在 服务 端 保存 在 消费 端 
传输 失败 ， 重 试 服务 端 需要 维护 每 次 传 不 需要 

输 状 态 ， 遇 到 失败 情况 


需要 重 试 
数据 传输 实时 性 非常 实时 默认 的 短 轮 询 方式 的 实 
时 性 依赖 于 Pull 间 隔 时 
间 ， 间 隅 越 大 实时 性 越 
低 。 长 轮 询 模式 的 实时 
性 与 Push 一 致 
流 控 机 制 服务 端 需要 依据 订阅 者 消费 端 可 以 根据 自身 消 
的 消费 能 力 做 流 控 发 能力 次 定 是 否 去 Pul 少 


到 这 里 就 结束 了 对 消息 中 间 件 的 介绍 。 第 4、5、6 章 分 别 介绍 了 服务 杠 
架 、 数 据 访 问 层 和 消息 中 间 件 ， 这 三 个 系列 的 产品 是 解决 分 布 式 系统 和 
大 型 网 站 中 的 应 用 架构 问题 的 三 个 很 重要 的 产品 线 。 而 在 下 一 革 ， 我 们 
将 会 了 解 文 撑 这 三 个 产品 线 的 背后 的 基础 产品 ， 就 是 我 们 的 软 负载 和 配 
置 中 心 ， 这 两 个 产品 不 像 服务 框架 、 数 据 访问 层 、 消 恩 中 间 件 那样 被 很 
ee 


第 7 章 ” 软 负载 中 心 与 集中 配置 管理 


在 第 4、5、6 章 中 ， 我 们 介绍 了 中 间 件 面 回应 用 的 三 个 核心 产品 ， 而 这 
些 产 品 的 背后 是 需要 由 软 负 载 中 心 和 集中 配置 管理 中 心 来 进行 文 持 的 ， 
我 们 这 一 章 就 来 看 看 软 负 载 中 心 与 集中 配置 管理 的 内 容 。 


7.1 初 识 软 负载 中 心 


在 服务 框架 的 章 世 中， 我 们 提 到 了 服务 注册 查找 中 心 是 用 于 定位 提供 服 
i a 
色 7-1 所 示 。 


普 王 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


名。 服务 提供 者 
上 服务 提供 者 


图 7-1 软 负载 中 心 在 服务 调用 中 的 定位 


在 消息 中 间 件 中 ， 消 乱 发 送 者 、 消 恩 订阅 者 对 于 消息 中 间 件 服务 器 的 感 
知 也 是 通过 软 负载 中 心 来 完成 的 ， 如 图 7-2 所 示 。 


Fr 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -| rr- 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 1 


消息 中 间 件 


软 负 载 中 心 


图 7-2 软 负载 中 心 在 消息 中 间 件 中 的 定位 
从 这 两 个 例子 可 以 看 到 ， 软 负载 中 心 有 两 个 最 基础 的 职责 ， 如 下 。 


一 是 聚合 地 址 信息 。 无 论 是 服务 框架 中 需要 用 到 的 服务 提供 者 地 址 ， 还 
古 消息 中 间 件 系统 中 的 消 恩 中 间 件 应 用 的 地 址 ， 都 需要 由 软 人 负载 中 心 去 


聚合 地 址 列表 ， 形 成 一 个 可 供 服务 调用 者 及 消 轧 的 发 送 者 、 接 收 者 直接 
使 用 的 列表 。 


例如 ， 我 们 提供 的 交易 服务 有 三 台 机 器 ， 地 址 分 别 为 172.16.1.1、 
172.16.1.2 和 172.16.1.3， 服 务 的 端口 是 9527， 那 么 最 后 传 给 服务 调用 者 
的 信息 则 是 聚合 后 的 一 个 列表 信息 ， 如 图 7-3 所 示 。 


交易 服务 
172.16.1.1:9527 


交易 服务 re 
172.16.1.2:9527 软 负 载 中 心 


172.16.1.2:9527 ! 


1 
1 
1 
| 
1 1 
交易 服务 ! 172.16.1.3:9527 | 
172.16.1.3:9527 


图 7-3 ”地 址 聚合 


二 是 生命 周期 感知 。 软 负载 中 心 需要 能 对 服务 的 上 下 线 目 动感 知 ， 并 且 
根据 这 个 变化 去 更 新 服务 地 址 数据 ， 形 成 新 的 地 址 列表 后 ， 把 数据 传 给 
需要 数据 的 调用 者 或 者 消息 的 发 送 者 和 接收 者 。 


图 7-4 显 示 的 古 其 中 一 个 交易 服务 机 器 不 可 用 时 的 情况 ， 软 负载 中 心 需要 
能 够 感知 到 这 个 情况 ， 并 且 更 新 列表 数据 传 给 服务 调用 者 。 


交易 服务 
172.16.1.1:9527 


交易 服务 0 a ， 
172.16.1.2:9527 软 负 载 中 心 | 交易 服 i ! 
上 172.16.1.1:9527 ! 

| 

1 

1 


172.16.1.2:9527 ! 
1 


图 7-4 服务 上 下 线 感知 


7.2” 软 负载 中 心 的 结构 


软 人 负载 中 心包 括 两 部 分 ， 一 个 是 软 人 负载 中 心 的 服务 端 ， 男 一 个 是 软 负 载 
中 心 的 客户 问 。 服 务 端 主要 负 贡 感知 提供 服务 的 机 器 古 否 在 线 ， 聚 合 提 
供 者 的 机 器 信息 ， 并 且 负 责 把 数据 传 给 使 用 数据 的 应 用 。 客 户 端 承载 了 
两 个 角色 ， 作 为 服务 提供 者 ， 客 户 端 主要 是 把 服务 提供 者 提供 服务 的 具 
体 信息 主动 传 给 服务 端 ， 并 且 随 着 提供 服务 的 变化 去 更 新 数据 ; 而 作为 
服务 使 用 者 ， 客 户 端 主 要 坪 回 服务 端 告知 目 己 所 需要 的 数据 并 负责 去 更 
新 数据 ， 还 要 进行 本 地 的 数据 缓存 ， 通 过 本 地 的 数据 缓存 ， 使 得 每 次 去 
请 求 服务 获取 列表 都 是 一 个 本 地 操作 ， 从 而 提升 效率 和 性 能 。 


图 7-5 显 示 了 使 用 软 负 载 中 心 的 应 用 与 软 负载 中 心 的 关系 ， 还 可 以 看 出 软 
负载 中 心 内 部 有 三 部 分 重要 的 数据 ， 分 别 介绍 如 下 。 


! datald,group:value | datald,group:consumerGroupld | ! groupld:connection ! 
! datald,group:value | datald,group:consumerGroupld | groupld:connection ! 
! datald,group:value | datald,group:consumerGroupld |! groupld:connection ! 
1 1 1 

上 1 oh 1 


图 7-5” 软 负载 中 心 与 使 用 者 
。 聚合 数据 


就 是 聚合 后 的 地 址 信息 列表 。 对 于 提供 的 服务 信息 ， 我 们 使 用 
一 个 唯一 的 dataId 来 进行 标识 ， 并 且 对 于 同样 的 datald 是 文 持 分 
组 (group) 的 ， 通 过 分 组 可 以 形成 一 个 二 维 的 结构 ， 后 面 会 具 
体 介 绍 分 组 的 应 用 。 通 过 datald 和 group 可 以 定位 到 唯一 的 一 个 
数据 内 容 ， 这 个 内 容 就 是 通过 聚合 完成 的 完整 数据 。 而 这 个 信 
轧 在 内 部 就 是 一 个 Key-Value 的 结构 。 


。 订阅 关系 


在 软 负载 中 心中 ， 需 要 数据 的 应 用 〈 服 务 使 用 者 等 ) 把 自己 需 
要 的 数据 信息 告诉 软 负 载 中 心 ， 这 就 是 一 个 订阅 关系 ， 订 阅 的 
粒度 和 聚合 数据 的 粒度 是 一 致 的 ， 就 是 通过 dataIld 和 group 来 确 
定数 据 ， 那 么 会 有 datald、group 到 数据 订阅 者 的 分 组 Id 
(consumberGroupId) 的 一 个 映射 关系 。 当 聚合 的 数据 有 变化 
时 ， 也 是 通过 订阅 关系 的 数据 找到 需要 通知 的 数据 订阅 者 ， 然 
后 去 进行 数据 更 新 的 通知 。 


连接 数据 


是 指 和 连接 到 软 负 载 中 心 的 节点 和 软 负 载 中 心 已 经 建立 的 连接 的 
管理 。 使 用 软 负载 中 心 的 应 用 时 ， 无 论 是 发 布 数据 还 是 订阅 数 
据 ， 都 会 有 一 个 自己 独立 的 分 组 Id (groupId) ， 而 连接 数据 就 
是 用 这 个 groupId 作 为 key， 然 后 对 应 管理 这 个 物理 连接 的 ， 采 
用 的 是 长 连接 方式 。 那 么 ， 当 订阅 的 数据 产生 变化 时 ， 通 过 订 
阅 关 系 找 到 需要 通知 的 groupId， 在 连接 数据 这 里 惑 能 够 找到 对 
应 的 连接 ， 然 后 进行 数据 的 发 送 ， 完 成 对 应 用 的 数据 更 新 。 


7.3 内容 育 合 功能 的 设计 


内 容 聚 合 是 软 人 负载 中 心 负 责 的 很 重要 的 基础 工作 ， 在 内 容 公 合 部 分 需要 
完成 的 工作 主要 是 两 个 。 


。 你 证 数据 正确 性 


保证 数据 正确 是 基础 的 工作 ， 内 容 聚 合 主要 需要 保证 的 是 并 发 
场景 下 的 数据 聚合 的 正确 性 ， 另 外 需要 考虑 的 是 发 布 数据 的 机 
右 短 时 间 上 下 线 的 问题 ， 就 是 指 发 布 数据 的 机 器 刚 连 接 上 来 或 
发 布 数据 刚 传 上 来 ， 然 后 就 断 线 了 ; 或 者 是 断 线 以 后 很 快 又 上 
线 了 ， 又 发 布 数据 了 。 内 容 又 合 主要 是 在 这 些 异 党 或 者 较为 复 
杂 的 场景 下 保证 数据 的 正确 性 。 


高 效 聚 合 数据 
高 效 地 聚合 数据 非常 重要 ， 因 为 整个 软 负 载 中 心 可 以 说 是 系统 


的 中 枢 ， 虽 然 软 负载 中 心 并 不 在 服务 调用 或 者 消 居 投 递 的 路 径 
上 ， 但 是 服务 提供 者 、 消 轧 中 间 件 等 的 服务 地 址 列表 都 是 由 软 


负载 中 心 进行 管理 的 。 因 此 高 效 地 聚合 数据 会 在 软 人 负载 中 心目 
喘 重 局 或 者 服务 提供 者 大 面积 重 局 时 市 来 很 大 的 便利 。 


我 们 来 看 看 数据 聚合 的 常规 方式 ， 这 里 讨论 的 前 提 十 采用 Java 实 现 。 我 
们 可 以 使 用 一 个 Map 的 结构 来 进行 数据 管理 ， 用 datald 和 数据 分 组 的 Id 

(group) 作为 Key， 而 对 应 的 value 就 是 聚合 后 的 数据 。 无 论 有 数据 新 增 
还 是 因为 服务 提供 者 下 线 而 需要 删除 数据 ， 直 接 根 据 datald 和 group 定 位 
到 数据 去 处 理 就 可 以 了 。 


这 个 逻辑 在 功能 上 十 没有 问题 的 ， 有 以 下 几 个 关键 点 需要 注意 。 
1. 并 发 下 的 数据 正确 性 的 保证 


我 们 采用 加 锁 或 者 线程 安全 容器 来 保证 并 发 下 的 数据 正确 。 先 看 看 场 
景 ， 并 发 的 操作 会 是 数据 插入 、 更 新、 删除 这 三 个 在 一 起 的 操作 ， 其 中 
更 新 、 删 除 主 要 十 因为 同一 个 数据 的 不 同 数据 发 布 者 的 变化 造成 的 ， 而 
数据 插入 是 由 于 多 个 新 的 datald 同 时 有 进入 到 Map 结 构 的 需求 (例如 ， 软 
负载 中 心 重启 或 者 大 量 数 据 发 布 者 重启 时 ) 。 


我 们 可 以 用 ConcurrentHashMap 线 程 安全 地 并 发 HashMap 来 管理 所 有 的 
dataId 的 数据 ， 这 在 并 发 上 比 Hashtable 或 加 锁 的 HashMap 要 好 很 多 。 而 
对 于 对 应 的 Value 的 处 理 也 是 我 们 需要 注意 的 地 方 。 一 种 方式 是 使 用 
LinkedList 来 实现 ， 但 是 注意 在 进行 数据 增删 时 需要 加 锁 ， 读 取 数 据 时 
也 需要 加 锁 ， 否 则 是 非 线程 安全 的 。 另 外 也 可 以 用 一 个 
ConcurrentHashMap 来 实现 ， 其 中 的 Key 是 产生 这 个 数据 信息 的 数据 发 布 
者 的 标识 ， 而 Value 就 是 具体 的 数据 。 而 使 用 了 ConcurrentHashMap 也 需 
要 注意 在 新 增 dataId 数 据 时 的 处 理 ， 因 为 这 时 可 能 是 多 个 线程 都 会 有 新 
增 ， 使 用 putIfAbsent 并 且 进 行 返 回 值 的 判断 ， 能 够 帮助 我 们 正确 地 处 理 


这 个 场景 。 

2. 数据 更 新 、 删 除 的 顺序 保证 

所 发 布 数据 的 变化 主要 有 新 增 、 更 新 和 删除 ， 而 处 理 的 顺序 一 定 要 和 真 
实 世 界 中 的 顺序 一 致 ， 这 里 很 容易 出 现 的 问题 是 ， 在 网 络 连接 断 开 后 删 
除数 据 与 数据 新 增 、 更 新 的 顺序 问题 。 


为 什么 会 产生 顺序 问题 呢 ? 这 与 我 们 的 具体 实现 机 制 有 关系 ， 如 图 7-6 所 
不 ?° 


线程 1 线程 2 线程 3 


收 到 A 发 布 收 到 B 发 布 收 到 A 连接 


的 数据 的 数据 断 开 
更 新 /新 增 更 新 /新 增 删除 A 发 布 
数据 数据 的 数据 


图 7-6 多 线程 共同 处 理 数据 方案 


我 们 采用 NIO 的 方式 通信 ， 通 过 Selector 的 方式 感知 连接 上 的 事件 ， 包 括 
数据 可 读 、 数 据 可 写 、 建 立 连 接 、 连 接 断 开 等 事件 ， 然 后 把 这 些 交 给 IO 
线程 池 中 的 线程 处 理 ， 那 么 ， 更 新 、 者 增 数 据 和 连接 断 开 要 去 删除 数据 
号 可 能 在 两 个 线程 中 处 理 。 而 如 果 是 发 布 数据 后 很 快 断 开 ， 那 么 保证 在 
内 部 按照 顺序 来 处 理 束 很 关键 ， 因 为 如 条 顺序 不 保证 ， 我 们 就 可 能 移 处 
理 了 删除 数据 ， 然 后 再 处 理 新 增 ， 这 样 数据 束 不 对 了 。 一 个 解决 的 办 法 
征 在 插入 数据 时 判断 当前 产生 数据 的 发 布 者 的 连接 是 否 还 存在 。 


这 个 部 分 在 实现 上 需要 特别 注意 ， 因 为 这 种 场景 的 发 生 概率 虽然 比较 
小 ， 但 是 一 旦 出 现 问 题 束 很 难 排查 。 


3. 大 量 数据 同时 插入 、 更 新 时 的 性 能 保证 


采用 线程 安全 的 容器 ， 控 制 在 并 发 时 的 处 理 顺 序 与 实际 顺序 相同 ， 这 都 
是 为 了 保证 数据 聚合 功能 的 正确 性 ， 而 性 能 也 是 需要 特别 关注 的 点 。 我 
们 知道 ，ConcurrentHashMap 是 并 发 的 线程 安全 的 容 右 ， 但 是 在 进行 数 
据 写 的 时 候 还 是 会 有 锁 的 开销 的 ， 而 读 的 时 候 是 无 锁 的 (比较 特殊 的 情 
况 下 会 加 锁 ) 。 而 在 大 量 的 数据 插入 和 更 新 的 场景 ， 

ConcurrentHashMap 也 会 过 到 性 能 问题 。 对 于 同样 的 datald,group 对 应 的 
数据 保存 ， 采 用 LinkedList 需 要 加 锁 ， 而 使 用 ConcurrentHashMap 则 在 数 
据 更 新 时 会 遇 到 和 插入 、 更 新 datald 一 样 的 问题 。 这 里 可 以 进行 一 下 优 
化 ， 束 是 根据 dataId,group 进 行 分 线程 的 处 理 ， 也 束 是 说 ， 保 证 同样 的 
datald,group 的 数据 是 在 同一 个 线程 中 处 理 的 ， 这 样 可 以 把 整个 数据 结构 


变 成 一 个 不 需要 锁 的 数据 结构 ， 并 且 也 可 以 在 数据 处 理 上 进行 一 定 程度 


的 合并 


到 这 里 读者 可 能 会 问 一 个 问题 ， 那 就 是 读 和 写 的 操作 之 间 怎 么 处 理 ? 我 

们 可 以 根据 datald,group 分 线程 来 处 理 数据 新 增 、 更 改 、 删 除 的 合并 数据 

的 请 求 ， 那 么 读 取 数据 该 怎么 做 呢 ? 我 们 可 以 把 读 的 操作 也 放 入 相应 的 

0 ， 这 样 就 可 以 使 得 保存 数据 的 结构 完全 不 用 加 锁 就 能 保证 线 
A 


图 7-7 所 示 是 没有 根据 datald,group 进 行 分 线程 处 理 时 的 情况 。 
线程 1 线程 2 线程 3 


更 改 数据 更 改 数据 读 取 数 据 
(datald=1,group=“A”) (datald=1,group=“A”) (datald=1,group="“A”) 


数据 存储 (加 锁 或 者 使 用 线程 安全 容器 ) 
datald=1,group=“A”: value="XXX” 


图 7-7 多 线程 处 理 同样 数据 产生 的 竞 


改进 后 的 方案 (如 图 7-8 所 示 ) 增加 了 任务 队列 、 对 应 的 处 理 线程 及 对 应 
的 数据 存储 。 这 样 ， 针 对 同样 数据 的 处 理 任 务 是 在 同一 个 线程 中 ， 我 们 
可 以 直接 使 用 线程 不 安全 的 容器 ， 而 多 线程 的 请 求 变 成 了 一 个 顺序 队列 
的 操作 ， 交 给 任务 队列 处 理 ， 任 务 队列 是 一 个 需要 线程 安全 的 实现 ， 但 
征 因为 这 里 的 操作 主要 天 是 “任务 加 入 队列 ?和 "任务 从 队列 中 取出 ”， 都 
是 简单 的 操作 ， 锁 冲突 的 情况 相对 之 前 的 加 锁 进 行 数 据 处 理 要 好 多 了 。 
数据 更 新 的 线程 如 果 需 要 等 待 更 新 结果 ， 那 就 只 要 进行 等 待 束 可 以 了 ; 
而 读 取 数据 则 一 定 需要 等 竺 任务 执行 结束 后 才能 拿 到 数据 结果 。 


线程 1 
更 改 数据 更 改 数据 
(datald=1,group=“A”) (datald=1,group=“A”) 


数据 存储 1〔 线 程 不 安全 容器 ) 数据 存储 2〔 线 程 不 安全 容器 ) 
datald=1,group=“A’: value=“XXX” datald=2,group="“A”: value=“XXX” 
datald=3,group=“A": value=“XXX” datald=4,group="A”: value=“XXX” 


图 7-8 同样 数据 单线 程 处 理 方案 


7.4 解决 服务 上 下 线 的 感知 


软 负 载 负 责 可 用 的 服务 列表 ， 当 服务 可 用 时 ， 需 要 目 动 把 服务 加 到 地 址 

列表 中 ， 而 服务 不 可 用 时 ， 需 要 目 动 从 列表 中 删除 。 这 就 是 我 们 所 说 的 

a 0 0 
» LL 0 


服务 上 下 线 的 感知 ， 主 要 有 下 面 两 种 实现 方式 。 
1. 通 过 客户 端 与 服务 端的 连接 感知 


无 论 是 数据 的 发 布 者 还 是 接收 者 都 与 软 负载 中 心 的 服务 器 维持 一 个 长 连 
接 。 对 于 服务 提供 者 来 说 ， 软 负载 中 心 可 以 通过 这 个 长 连接 上 的 心跳 或 
者 数据 的 发 布 来 判断 服务 发 布 着 是 否 还 在 线 。 如 果 很 久 没有 心跳 或 数据 
的 发 布 ， 则 判定 为 不 在 线 ， 那 么 就 会 取出 这 个 发 布 者 发 布 的 数据 ;而 对 
于 新 上 线 的 发 布 者 ， 通 过 连接 建立 和 数据 发 布 就 实现 了 上 线 的 通知 。 


这 个 方式 有 一 个 结构 上 的 问题 ， 即 软 负 载 中 心 的 服务 怖 属于 劳 路 ， 也 束 
征 说 它 并 不 在 调用 链 上 ， 当 软 负 载 中 心 自 身 的 负载 很 高 时 ， 是 可 能 产生 
运 判 的 。 例 如 ， 软 负载 中 心 压力 很 大 ， 处 理 请 求 变 慢 ， 心 跳 数据 来 不 及 
处 理 ， 会 以 为 心跳 超时 而 判定 服务 不 在 线 ， 认 为 服务 不 可 用 并 且 把 信息 
通知 给 服务 的 调用 者 ， 这 会 导致 原本 可 用 的 服务 被 下 线 了 。 


另外 可 能 存在 的 问题 是 ， 如 果 服 务 发 布 者 到 软 负 载 中 心 的 网 络 链 路 有 问 
题 ， 而 服务 发 布 者 到 服务 使 用 者 的 链 路 没 问 题 ， 也 会 造成 感知 的 问题 ， 
如 图 7-9 所 示 。 这 种 情况 下 根据 连接 的 判定 就 有 问题 了 。 而且 因 为 软 负 载 
中 心 处 于 的 劳 路 ， 这 个 问题 并 不 容易 解决 。 解 决 方法 是 在 软 人 负载 中 心 的 
客户 端 上 增加 逻辑 ， 当 收 到 软 负载 中 心 通知 的 应 用 下 线 数据 时 ， 需 要 服 
务 调用 者 进行 验证 才能 接收 这 个 通知 。 但 是 这 个 方法 带 来 的 是 对 每 个 服 
务 提供 首 的 一 次 额外 验证 。 


站 mm 一 一 


服务 调用 者 攻 : 服务 提供 者 
服务 调用 者 “向 ) 服务 提供 者 
nga a a i i XX i 1 
ae 


软 负 载 中 心 


图 7-9 ”服务 提供 者 与 软 负载 中 心 链 路 问题 
2. 通过 对 于 发 布 数 据 中 提供 的 地 址 端口 进行 连接 的 检查 


前 面 提 到 了 如 果 软 负载 中 心目 身 负 载 很 品 ， 那 么 通过 一 段 时 间 内 长 连接 
的 心跳 和 数据 通信 来 判断 服务 发 布 者 是 否 在 线 存在 着 错 判 的 可 能 ， 通 过 
外 部 的 一 个 主动 检查 的 方式 去 进行 判定 是 一 个 补偿 的 方式 ， 也 束 是 当 通 
过 长 连接 的 相关 感知 判断 服务 应 用 已 经 下 线 时 ， 不 直接 认定 这 个 服务 已 
经 下 线 ， 而 是 交 给 男 一 个 独立 的 监控 应 用 去 验证 这 个 服务 是 否 已 经 不 在 
了 ， 方 式 一 般 是 通过 之 前 发 布 的 地 址 、 端 口 进行 一 下 连接 的 验证 ， 如 果 
不 能 连接 ， 则 确认 机 器 确实 下 线 了 。 不 过 这 种 方式 同样 存在 一 个 问题 ， 
即 进行 检查 确认 的 这 个 系统 也 可 能 和 服务 提供 者 之 间 存 在 网 络 问题 ， 而 
服务 提供 者 与 服务 调用 者 之 间 是 正常 的 。 解 决 方法 也 还 是 需要 服务 调用 
者 进行 最 终 确认 ， 因 为 在 系统 中 进行 的 实际 业务 调用 通信 是 在 服务 调用 
者 和 服务 提供 者 之 间 。 


7.5” 软 负载 中 心 的 数据 分 发 的 特点 和 
设计 
7.5.1 ”数据 分 发 与 消息 订阅 的 区 别 


使 用 软 负 载 服务 的 数据 订阅 者 是 为 了 能 够 收 到 所 用 的 服务 地 址 列表 ， 这 
在 软 负载 中 心 需要 进行 数据 分 发 的 工作 。 


前 面 提 到 过 在 软 负 载 中心 的 服务 端 维护 了 一 个 订阅 关系 ; 在 第 6 章 提 到 
了 订阅 关系 ， 也 提 到 了 对 消息 的 推送 ， 还 提 到 了 订阅 者 的 分 组 。 那 么 ， 
消息 中 间 件 的 订阅 、 消 乱 的 接收 与 软 负 载 中心 的 订阅 、 消 乱 的 接收 有 什 
么 差别 呢 ? 主要 有 以 下 两 方面 的 不 同 。 


第 一 个 差别 是 ， 消 息 中 间 件 需要 保证 消息 不 丢失 ， 每 条 消息 都 应 该 送 到 
相关 的 订阅 者 ， 而 软 负载 中 心 只 需要 保证 最 新 数据 送 到 相关 的 订阅 者 ， 
不 需要 保证 每 次 的 数据 变化 都 能 让 最 终 订阅 者 感知 。 


举 个 例子 ，dataId=1group=“A>” 的 数据 从 X 变 为 Y 变 为 Z， 那 么 在 消息 中 
间 件 中 的 情况 如 图 7-10 所 示 。 


datald=1,group=“A” 消息 中 间 件 
value=“Z” 


datald=1,group=“A” 
value=“Y” 


datald=1,group=“A” 
value=“X” 


datald=1,group=“A” 
value=“2Z” 


datald=1,group=“A” 
value=“Y” 


datald=1,group=“A” 
value=“X” 


图 7-10 ”消息 订阅 下 的 数据 接收 


无 论 我 们 使 用 的 消息 中 间 件 是 否 文 持 消 妃 顺 序 ， 订 阅 者 都 会 收 到 这 三 条 
消息 ， 只 是 是 否 保持 原来 发 送 顺 序 的 差别 。 而 在 软 负 载 中 心中 ， 则 可 能 
会 收 到 一 条 消 轧 ， 可 能 收 到 两 条 ， 也 可 能 收 到 三 条 ， 如 图 7-11 所 示 。 


datald=1,group=“A” 软 负载 中 心 


datald=1,group=“A” 
value="“Y” 

datald=1,group=“A” 
value=“X” 


图 7-11 ” 软 负 载 中 心 客户 端的 数据 接收 


无 论 如 何 ， 订 阅 者 最 终 收 到 的 数据 都 是 value=“Z” 这 个 最 新 的 数据 ， 因 为 
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第 二 个 差别 是 关于 订阅 者 的 集群 ， 也 就 是 订阅 者 的 分 组 。 在 消息 中 间 件 
中 ， 同 一 个 集群 中 的 不 同 机 器 是 分 译 所 有 消息 的 ， 因 为 这 个 消息 只 要 同 
一 集群 中 的 一 台 机 右 去 处 理 了 束 行 了 。 而 在 软 人 负载 中 心 则 不 同 ， 因 为 软 
负载 中 心 维护 的 是 大 家 都 需要 用 的 服务 数据 ， 所 以 ， 需 要 把 这 个 数据 分 
发 给 所 有 的 机 器 。 这 也 是 消息 中 间 件 与 软 负 载 中心 在 数据 分 发 方面 的 不 


同 。 


7.5.2 ”提升 数据 分 发 性 能 需要 注意 的 问 
题 

要 提升 数据 分 发 性 能 ， 可 以 从 下 面 两 个 方面 考虑 。 

。 数据 压缩 


我 们 的 数据 都 是 和 服务 相关 的 信息 ， 数 据 压 缩 可 以 很 好 地 降低 
数据 量 ， 提 升 网 络 吞 吐 能 力 ， 使 用 CPU 来 换 帝 宽 ， 这 对 于 软 负 
载 中心 还 是 非 第 有 用 的 。 而 且 因 为 很 多 服务 的 订阅 集群 不 止 一 
个 ， 每 个 集群 中 的 机 器 也 不 止 一 个 ， 所 以 一 份 数据 需要 投递 的 
目标 是 很 多 的 ， 压 缩 一 次 所 带 来 的 流量 下 降 是 很 明显 的 。 所 以 
数据 压缩 是 一 定 要 考虑 的 方面 。 


全 量 与 增 量 的 选择 


从 前 面 的 介绍 可 以 看 到 发 布 者 提供 的 服务 信息 数据 会 随 着 提供 
服务 的 机 器 的 变化 而 变化 ， 而 每 个 变化 都 会 引起 这 个 服务 的 整 
体 服 务 数据 的 更 新 ， 那 么 ， 我 们 是 每 次 把 整个 最 新 的 数据 传 给 
数据 的 订阅 关 呢 ， 还 是 只 把 变化 的 数据 传 给 服务 的 订阅 着? 


每 次 传递 全 量 数据 ， 整 体 的 设计 和 逻辑 会 非常 简单 ， 缺 点 是 传 
送 的 数据 量 大 。 而 传递 增 量 数据 ， 每 次 传送 的 数据 量 小 ， 但 是 
逻辑 会 复杂 很 多 。 建 议 在 刚 开 始 的 实现 中 采用 简单 的 方式 ， 也 
谍 是 传送 全 量 数 据 ， 当 全 量 的 数据 很 大 时 ， 就 需要 考虑 采用 增 
量 传 送 的 方式 来 实现 了 。 


7.6 针对 服务 化 的 特性 支持 
7.6.1 ” 软 人 负载 数据 分 组 


在 前 面 的 小 节 我 们 看 到 了 数据 的 分 组 ， 通 过 数据 标识 (dataId) 和 分 组 

(group) 来 唯一 确定 数据 。 那 么 ， 为 什么 要 引入 分 组 呢 ? 分 组 主要 是 为 
了 进行 隔离 ， 分 组 本 身 就 是 一 个 命名 空间 ， 用 来 把 相同 的 dataId 的 内 容 
分 开 ， 也 就 是 给 dataIld 加 上 了 一 个 namespace。 分 组 主要 用 在 下 面 两 种 场 


邹 


。 根据 环境 进行 区 分 


这 比较 多 地 用 于 线 下 的 环境 。 我 们 在 线 下 开发 、 测 试 的 环境 
中 ， 需 要 对 不 同 的 环境 、 项 目 进行 隅 离 和 区 分 ， 而 分 组 就 可 以 
很 好 地 文 持 这 一 功能 。 可 以 对 不 同 组 的 服务 提供 者 和 调用 者 进 
行 隔离 ， 使 之 互 不 可 见 。 


。 分 优先 级 的 隔离 


这 更 多 用 于 线 上 运行 系统 的 隔离 。 也 就 是 可 以 把 提供 同样 服务 
的 提供 者 用 组 的 概念 分 开 ， 重 要 的 服务 使 用 者 会 有 专 有 的 组 来 
提供 服务 ， 而 其 他 的 服务 使 用 者 可 能 会 公用 一 个 默认 的 组 。 


关于 分 组 的 方式 ， 需 要 文 持 指定 分 组 的 API 设 置 方式 ， 以 及 根据 了 地址 
人 
维 的 便利 性 。 


7.6.2 ”提供 目 动 感知 以 外 的 上 下 线 开关 


前 面 小 世 看 到 了 软 负载 中 心 对 机 器 上 下 线 的 目 动感 知 ， 而 机 咒 的 上 下 线 
还 需要 通过 指令 而 非 机 融 状 态 来 控制 ， 这 个 控制 的 文 持 必 然 旦 要 放 在 软 
负载 中 心 来 完成 。 


之 所 以 在 机 器 的 状态 外 进行 控制 ， 主 要 有 下 面 两 个 考虑 。 
。 优雅 地 俘 止 应 用 


如 果 靠 机 器 是 否 存活 来 判断 服务 是 否 有 效 ， 那 么 只 有 关 掉 应 
用 ， 才 能 将 它 从 服务 列表 中 拿 到 ， 那 么 这 时 正在 执行 的 服务 束 
失败 了 。 我 们 应 该 和 完 从 服务 列表 中 去 挥 这 个 机 器 ， 等 待 当时 正 
在 执行 的 服务 结束 ， 然 后 再 停止 应 用 。 通 过 指令 直接 从 软 人 负载 
中 心 使 机 右 下 线 ， 是 可 以 帮助 做 到 这 一 点 的 。 


。 保持 应 用 场景 ， 用 于 排 篆 


遇 到 服务 的 问题 时 ， 可 以 把 出 问题 的 服务 留 下 一 台 进 行 故障 定 
位 和 场景 分 析 。 这 时 和 需要 把 这 台 机 器 从 服务 列表 中 拿 下 来 ， 以 
免 有 新 的 请 求 进来 造成 服务 的 失败 。 这 也 是 需要 软 负载 中 心 直 
接 使 服务 下 线 的 一 个 场景 。 


7.6.3 ”维护 管理 路 由 规则 


第 4 章 中 介绍 了 路 由 规则 ， 而 这 个 规则 本 身 需要 进行 统一 的 维护 ， 软 负 
载 中 心 可 以 管理 这 些 数 据 ， 不 过 这 些 数据 与 服务 地 址 列表 的 特性 不 同 。 
笔者 最 初 见 到 的 是 将 一 些 类 似 服 务 地 址 列表 这 样 的 非 持 久 数 据 和 路 由 规 


则 、 消 恩 订 阅 关 系 等 持久 数据 放 在 一 起 处 理 的 ， 这 样 做 复 用 了 数据 推 
送 、 客 户 端 缓存 等 基础 组 件 ， 但 是 也 带 来 了 比较 多 的 问题 。 后 来 对 不 同 
特性 的 数据 进行 了 拆 分 ， 这 一 部 分 内 容 将 会 在 后 面 的 “集中 配置 管理 ”中 


讲 到 。 


7.7 ”从 单机 到 集群 


当 我 们 的 系统 规模 还 不 大 时 ， 单 机 加 上 一 个 备份 机 器 的 方式 束 可 以 充当 
软 负 载 中 心 。 备 份 机 器 只 是 在 主机 不 能 恢复 时 才 使 用 ， 因 为 软 负载 中 心 
人 
父 加 半 。 


随 着 整个 应 用 集群 的 规模 越 来 越 大 ， 单 机 会 遇 到 连接 数 以 及 数据 推送 方 
面 的 瓶 开 (内 存 一 般 还 不 是 问题 ， 那 么 如 何 把 单机 方式 的 软 负 载 中 心 
变 为 一 个 集群 就 是 一 件 很 重要 的 事情 了 。 


在 前 面 两 草 的 服务 框架 和 消息 中 间 件 中 ， 对 于 集群 提 到 的 并 不 是 特别 
多 ， 主 要 是 因为 对 于 服务 框架 来 说 ， 用 到 的 场景 是 服务 的 调用 ， 而 服务 
本 身 多 是 无 状态 的 ， 其 中 的 集群 处 理 相 对 比较 简单 ， 而 在 消息 系统 中 ， 
如 采 消 息 中 间 件 本 映 不 在 本 地 存储 消 恩 数据 ， 那 就 也 是 一 个 基本 无 状态 
的 集群 ， 而 如 果 本 地 存储 了 数据 ， 则 主要 涉及 数据 迁移 的 问题 。 消 息 中 
间 件 及 服务 框架 中 的 服务 提供 者 除了 可 能 的 数据 迁移 外 ， 都 是 依赖 软 负 
载 中心 来 完成 服务 地 址 列表 更 新 的 。 如 果 软 负载 中 心 从 单机 走向 集群 ， 
我 们 需要 解决 的 问题 有 什么 呢 ? 主要 有 以 下 两 方面 。 


。 数据 管理 问题 

软 负载 中 心 育 合 了 整个 分 布 式 集群 中 的 服务 地 址 信息 。 在 单机 
的 情况 下 ， 这 些 数据 都 统一 地 存在 这 个 软 负载 中 心机 器 上 ， 那 
么 变 为 集群 时 ， 数 据 应 该 怎么 维护 保存 呢 ? 
。 连接 管理 问题 

在 单机 时 ， 所 有 的 数据 发 布 者 和 数据 订阅 者 都 会 连接 到 这 台 软 


负载 中 心 的 机 器 上 ， 而 从 单机 变 成 集群 时 ， 这 些 数据 发 布 者 和 
数据 订阅 者 的 连接 应 该 怎么 管理 呢 ? 


这 两 个 问题 有 不 同 的 解决 方案 ， 我 们 下 面 从 数据 管理 的 维度 展开 介绍 各 
并 看 一 下 在 确定 数据 管理 方式 的 情况 下 ， 连 接管 理 对 应 的 做 


7.7.1 数据 统一 管理 方案 


这 个 方案 是 对 数据 进行 统一 管理 ， 也 就 是 把 数据 聚合 放 在 一 个 地 方 ， 这 
样 人 负责 管理 连接 的 机 器 就 可 以 古 无 状态 的 了 ， 如 图 7-12 所 示 。 


软 负载 中 心 


图 7-12 ”数据 统一 管理 方案 


可 以 看 到 ， 整 个 结构 分 为 三 层 ， 育 合 数 据 这 一 层 束 古 在 管理 数据 ， 而 软 
负载 中 心 的 机 器 则 是 无 状态 的 ， 不 再 管理 数据 ， 对 于 数据 发 布 者 和 订阅 
者 来 说 ， 选 择 软 负 载 中 心 集群 中 的 任何 一 个 机 融和 连接 缘 可 ， 因 为 软 负 载 
中 心 的 机 器 是 对 等 的 。 


对 这 个 方案 可 以 做 一 个 改变 ， 即 把 软 负 载 中 心 集群 中 的 机 右 的 职员 分 
开 ， 束 古 把 聚合 数据 的 任务 和 推送 数据 的 任务 分 到 专门 的 机 器 上 处 理 ， 
如 图 7-13 所 示 。 


软 负载 中 心 软 负载 中 心 
数据 聚合 数据 推送 


数据 订阅 者 


图 7-13 ” 软 负 载 应 用 分 工 后 的 数据 统一 管理 方案 


可 以 看 到 ， 发 布 者 和 订阅 者 的 连接 是 分 开 管理 的 ， 而 集群 中 的 应 用 分 工 
更 加 明确 。 为 了 提升 性 能 ， 在 软 负 载 中 心 负责 数据 推送 的 机 器 上 古 可 以 
对 又 合 数据 做 缓存 的 。 


数据 统一 管理 方式 主要 是 把 数据 抽出 来 集中 进行 管理 ， 结 构 和 职责 都 比 
较 清晰 。 不 过 需要 注意 的 是 必须 保证 “聚合 数据 ”这 个 统一 数据 管理 层 的 
可 用 性 ， 因 为 如 果 这 部 分 出 问题 ， 又 没有 容 灾 策略 ， 那 么 整个 软 负 载 中 
心 束 不 能 正常 工作 了 。 


7.7.2 ”数据 对 等 管理 方案 


除了 上 面 的 数据 统一 管理 方式 外 ， 另 一 种 策略 是 将 数据 分 散在 各 个 软 负 
载 中 心 的 节点 上 ， 并 且 把 目 己 节点 管理 的 数据 分 发 到 其 他 节点 上 ， 从 而 
i 0 


同样 的 ， 使 用 软 负 载 中 心 的 数据 发 布 者 和 数据 订阅 者 只 需要 去 连接 软 负 
载 中心 集 群 中 的 任何 一 台 机 器 束 可 以 了 ， 数 据 发 布 者 只 需要 把 数据 发 布 
给 这 一 人 台 机 器 ， 而 数据 订阅 者 只 需要 从 这 一 台 机 副 上 进行 订阅 。 


在 软 负 载 中 心 集群 内 部 ， 各 个 节点 之 间 会 进行 数据 的 同步 ， 所 以 ， 一 台 
软 人 负载 中 心 收 到 的 数据 会 传 给 其 他 节点 ， 也 会 收 到 其 他 市 点 同步 过 来 的 
数据 ， 从 而 形成 各 个 节点 的 数据 都 对 等 的 状态 (如 图 7-14 所 示 ) 。 这 种 
eee 
J 


数据 订阅 者 


图 7-14 数据 对 等 管理 方案 


那么 软 负 载 中 心 的 各 个 节点 之 间 的 数据 怎么 同步 呢 ? 可 以 互相 进行 数据 
的 发 布 ， 也 就 是 说 ， 如 采 软 负载 中 心 A 需要 把 数据 同步 给 软 负 载 中 心 
B， 那 么 软 人 负载 中 心 A 束 作为 一 个 数据 发 布 者 把 数据 发 布 给 软 负 载 中 心 B 
就 可 以 了 。 软 负载 中 心 B 基 本 可 以 按照 一 个 普通 的 数据 发 布 者 来 处 理 
A， 有 差别 是 当 B 要 把 自己 的 数据 发 布 给 其 他 节点 时 ， 从 A 收 到 的 数据 是 不 
需要 发 布 的 ， 因 为 A 自己 会 去 发 布 。 


这 个 方式 可 以 复 用 现 有 的 软 负载 中 心 的 客户 端 ， 不 过 也 带 来 了 同步 效率 
的 问题 ， 因 为 服务 提供 着 发 布 数据 的 量 相对 十 很 小 的 ， 而 且 是 一 旦 有 数 
据 要 发 布 ， 就 直接 去 进行 通信 了 。 而 对 于 软 负 载 中 心 季 反 间 的 数据 同 
步 ， 在 发 生变 动 时 需要 同步 的 数据 量 比较 大 ， 这 时 如 采 能 够 进行 批量 处 
理 束 会 更 加 高 效 。 例 如 ， 一 个 提供 服务 的 集群 有 100 台 机 器 ， 那 么 当 这 
个 集群 重 局 时 ， 理 论 上 对 于 这 个 服务 地 址 列表 会 有 100 次 变化 ， 我 们 没 
有 必要 在 软 负载 中 心 的 节点 中 同步 每 次 变化 ， 只 要 合并 这 些 变 化 后 同步 
一 次 束 可 以 了 。 


因此 在 相对 大 型 的 场景 下 ， 对 于 软 负 载 中 心 集群 内 部 节点 间 的 数据 同 
步 ， 独 立 实现 会 比 复 用 客户 端的 发 布 功能 更 加 高 效 一 些 。 具 体 同 步 时 ， 


可 以 设置 一 个 间隔 ， 把 这 个 间隔 内 的 数据 变化 合并 后 再 进行 一 次 同步 。 


图 7-14 中 展示 的 是 由 三 个 节点 组 成 的 集群 ， 如 果蔬 点 较 多 的 话 ， 那 么 整 
个 同步 的 量 会 比较 大 ， 这 时 也 同样 可 以 对 集群 内 的 市 点 进行 职 贡 划分 ， 
如 图 7-15 所 示 。 


—~、 


数据 订阅 者 


图 7-15” 软 负载 应 用 分 工 后 的 数据 对 等 管理 方案 


可 以 看 到 ， 在 图 7-15 中 也 是 把 软 人 负载 中 心 集群 内 的 节点 分 为 了 两 种 ， 一 
种 是 进行 数据 分 发 的 节点 ， 男 一 种 是 进行 数据 聚合 的 节点 ， 只 仙 员 和 数 
据 发 布 者 连接 ， 聚 合 连 毛 到 自己 节点 上 的 数据 发 布 者 的 数据 ， 并 且 把 聚 
合 后 的 数据 同步 给 进行 数据 分 发 的 机 人 右 。 可 以 看 到 ， 人 负责 数据 聚合 的 软 
负载 中 心 的 节点 之 间 古 没有 联系 的 ， 人 负责 数据 分 发 的 软 负 载 中 心 的 节点 
之 间 也 没有 联系 ， 而 每 个 负责 数据 聚合 的 软 人 负载 中 心太 点 和 每 个 负责 数 
据 分 发 的 软 负 载 中 心 节 点 都 有 一 个 连接 。 而 在 图 7-14 的 方案 中 ， 集 群 内 
的 每 个 节点 之 间 都 有 连接 ， 都 互相 同步 数据 。 


我 们 来 分 析 一 下 同样 4 个 节点 时 ， 软 负载 应 用 不 分 工 和 分 工 两 种 方式 下 
的 数据 同步 的 量 。 如 果 不 分 工 且 4 个 市 点 完全 对 等 的 话 ， 理 想 情 况 下 每 
个 市 点 管理 1/4 的 发 布 者 数据 ， 然 后 需要 把 目 己 管理 的 数据 同步 给 3 个 市 
态 ， 而 且 这 4 个 市 点 部 要 做 同样 的 事情 。 假 设 数据 量 的 大 小 是 d ， 而 且 数 
据 很 快 到 达 稳 定 并 进行 同步 ， 那 么 需要 同步 的 数据 是 1/4d x3x4=3d 。 
如 果 分 工 〈 图 7-15 中 的 方案 ) ，2 个 市 点 负责 数据 的 聚合 ，2 个 市 点 负责 


数据 分 发 ， 那 么 聚合 数据 节点 管理 的 数据 理想 情况 下 各 是 1/2， 逢 要 同步 
给 2 个 广 态 ， 一 共 2 个 太太 要 去 同步 ， 那 么 同步 的 数据 量 束 是 1/2d x2x2 = 
2d ° 


我 们 可 以 用 一 个 公式 来 看 一 下 同步 数据 量 的 对 比 ， 前 提 是 两 个 集群 的 市 
点 数量 相同 。 假 设 集群 节点 数量 是 x ， 在 分 工 的 方案 中 ， 我 们 假定 x 个 
节点 中 a 个 节点 是 进行 数据 聚合 的 ， 总 数据 量 为 4。 则 对 于 第 一 种 方 
案 ， 需 要 同步 的 数据 量 是 1/xd x (x-1) xx = 二 (x -1) d ; 对 于 第 二 种 方 
案 ， 需 要 同步 的 数据 量 是 lad x (x-a) xa= (x -a ) d。 也 就 是 说 ， 如 
果 第 二 种 方案 的 聚合 数据 的 节点 数 大 于 1 的 话 ， 那 么 需要 同步 的 数据 量 
就 比 第 一 种 方案 小 了 ， 如 果 等 于 1， 则 两 种 方案 一 样 。 


如 果 整 个 集群 管理 的 总 体 数据 很 多 ， 超 出 了 单机 的 限制 的 话 ， 那 么 就 需 
要 根据 datald，group 对 数据 进行 分 组 管理 ， 让 每 个 节点 管理 一 部 分 数 
据 。 也 就 是 用 规则 对 数据 进行 类 似 分 库 分 表 的 操作 。 不 过 如 果 走 到 这 一 
数据 订阅 者 可 能 就 需要 连接 多 个 数据 分 发 节点 了 (如 图 7-16 所 


图 7-16 ”数据 分 组 且 软 负载 应 用 分 工 后 的 数据 对 等 管理 方案 


图 7-16 中 ， 数 据 分 发 A 和 数据 分 发 B 这 两 个 软 负载 中 心 节 点 管理 的 数据 是 
不 同 的 ， 所 以 ， 数 据 订 阅 者 根据 上 自己 要 订阅 的 数据 可 能 连接 需要 多 个 数 
据 分 发 的 节点 。 而 数据 聚合 的 节点 将 数据 同步 给 数据 分 发 节操 的 时 候 ， 
也 需要 根据 相应 的 数据 划分 的 规则 进行 同步 。 


数据 订阅 者 


7.8 ”集中 配置 管理 中 心 


接 下 来 我 们 看 看 集中 配置 管理 中 心 是 什么 。 在 最 初 的 时 候 ， 我 们 只 有 软 
负载 中 心 ， 软 负载 中 心 除 了 管理 服务 地 址 列表 外 ， 路 由 规则 、 消 妃 的 订 
阅 天 系 等 也 都 在 软 负 载 中 心 保存 。 其 实 这 些 数据 的 特性 并 不 相同 ， 我 们 
可 以 从 数据 旦 否 持久 以 及 是 否 需要 聚合 两 个 维度 对 数据 进行 分 类 。 


持久 指 的 是 数据 本 身 与 联 发 布 者 的 生命 周期 无 关 的 ， 典 型 的 是 持久 订阅 
关系 、 路 由 规则 、 数 据 访问 层 的 分 库 分 表 规 则 和 数据 库 配 置 等 ; 非 持久 
则 是 和 发 布 痢 生 命 周期 有 关联 的 ， 例 如 服务 地 址 列表 。 此 外 ， 有 上 服务 地 址 
列表 、 订 阅 关 系 等 数据 是 需要 聚合 的 ;而 路 由 规则 以 及 一 些 设置 项 的 内 
容 则 不 需要 聚合 。 具 体 可 以 分 为 非 持久 /聚合 、 持 久 / 聚 合 、 持 久 / 非 聚合 
和 非 持 久 / 非 聚合 四 类 。 我 们 按照 数据 是 否 持久 进行 划分 ， 软 负载 中 心 管 
理 的 是 非 持 久 数 据 ， 而 集中 配置 管理 中 心 则 是 为 了 管理 持久 数据 ， 两 者 
都 可 以 文 持 聚 合 的 数据 。 


对 于 集中 配置 管理 中 心 来 说 ， 最 为 关心 的 是 稳定 性 和 各 种 异常 情况 下 的 
容 灾 策 略 ， 其 次 是 性 能 和 数据 分 发 的 延迟 。 集 中 配置 管理 中 心 存储 的 基 
本 都 是 各 个 应 用 集群 、 中 间 件 产品 的 关键 管理 配置 信息 ， 以 及 一 些 配置 
开关 。 我 们 通过 集中 配置 管理 中 心 统 一 进行 运行 时 的 控制 ， 通 过 改变 配 
置 的 内 容 进而 影响 应 用 的 行为 。 


接 下 来 我 们 来 看 一 下 集中 配置 管理 中 心 的 结构 ， 如 图 7-17 所 示 。 


持久 存储 
Master 


| 心 集中 配置 管理 中 心 ! 
File | 


控制 台 


图 7-17 集中 配置 管理 中 心 结构 


我 们 通过 主 备 的 持久 存储 来 保存 持久 数据 ， 一 般 采 用 关系 型 数据 库 〈 例 
如 MySQL) 。 通 过 两 个 节点 的 主 备 来 解决 持久 数据 安全 的 问题 。 


集中 配置 管理 中 心 集群 这 一 层 由 多 个 集中 配置 管理 中 心 的 节点 组 成 ， 这 
些 下 点 是 对 等 的 。 都 可 以 提供 数据 给 应 用 端 ， 也 都 可 以 接收 数据 的 更 新 
请 求 并 更 改 数据 库 。 这 些 世 点 之 间 互 不 依赖 。 


在 集中 配置 管理 中 心 的 单个 节点 中 ， 我 们 部 署 了 Nginx 和 一 个 Web 应 用 ， 
其 中 Web 应 用 主要 负责 完成 相关 的 程序 逻辑 (例如 数据 库 的 相关 操 
作 ) ， 以 及 根据 卫 等 的 分 组 操作 (这 个 基于 IP 的 分 组 类 似 于 软 负 载 中 心 
中 的 基于 IP 的 分 组 ，。 也 就 是 我 们 整个 应 用 的 逻辑 都 放 在 了 Web 应 用 
中 。 单 机 的 本 地 文件 《Local File) 则 是 为 了 容 灾 和 提升 性 能 ， 客 户 端 进 
行 数据 获取 的 时 候 ， 最 后 都 是 从 Nginx 直 接 获 取 本 地 文件 并 把 数据 返回 


给 请 求 端 。 


对 集中 配置 管理 中 心 的 使 用 分 为 了 以 下 两 部 分 
。 提 供给 应 用 使 用 的 客户 站 


主要 是 业务 应 用 通过 客户 端 去 获取 配置 信息 和 数据 ， 用 于 数据 
的 读 取 。 应 用 本 身 不 去 修改 配置 数据 ， 而 是 根据 配置 来 决定 和 
更 改 目 身 应 用 的 行为 。 


。 力 欣 制 台 或 者 控制 脚本 提供 管理 SDK 


这 个 SDK 包 括 了 对 数据 的 读 写 ， 通 过 管理 SDK 可 以 进行 配置 数 
据 的 更 改 。 


7.8.1 客户 端 实现 和 容 灾 策 略 


客户 端 通过 HTTP 协 议 与 集中 配置 管理 中 心 进 行 通 信 。 采 用 HTTP 协 议 而 
不 是 私有 协议 可 以 更 方便 地 支持 多 种 语言 的 客户 端 ， 而 且 可 以 方便 地 进 
行 测试 和 问题 定位 。 那 么 ， 采 用 HTTP 协 议和 集中 配置 管理 中 心 进行 交 
互 ， 这 相对 于 之 前 私有 协议 的 Socket 长 连接 来 说 是 一 种 轮 询 的 方式 。 考 
人 
时效 性 。 


nt 
不 ?° 


客户 端 服务 端 


建立 连接 ， 发 送 请 求 


返回 数据 ， 关 闭 连 接 


建立 连接 ， 发 送 请 求 


超时 返回 ， 关 闭 连接 


图 7-18 “长 轮 询 示 意图 


建立 连接 并 且 发 送 请 求 后 ， 如 果 有 数据 ， 那 么 长 轮 询 和 普通 轮 询 立 刻 返 
回 ; 如 果 没 有 数据 ， 长 轮 询 会 等 待 ， 如 果 等 到 数据 ， 那 么 就 立刻 返回 ， 
如 果 一 直 没 有 数据 ， 则 等 到 超时 后 返回 ， 继 续 建 立 连 接 ， 而 普通 轮 询 就 
直接 返回 了 。 

可 以 看 出 ， 采 用 长 轮 询 的 方式 ， 数 据 分 发 的 实时 性 比 普通 轮 询 要 好 很 
多 ， 和 Socket 长 连接 方式 大 体 相 同 ， 不 过 长 轮 询 需要 不 断 地 建立 连接 ， 
这 是 它 相 对 于 Socket 长 连接 方式 的 弱点 ， 可 以 说 HTTP 长 轮 询 方式 是 
HTTP 普 通 轮 询 和 Socket 长 连接 方式 的 折 中 。 

接 下 来 我 们 再 看 一 下 对 容 灾 的 考虑 。 在 客户 端 ， 提 供 了 如 下 4 个 特性 。 


。 数据 缓存 


征 指 每 次 收 到 服务 端的 更 新 后 对 数据 的 缓存 ， 缓 存 的 作用 是 当 
服务 端 因 忙 而 不 能 及 时 响应 数据 获取 请 求 时 ， 为 应 用 提供 一 个 
可 选 的 获取 数据 的 方案 。 使 用 本 地 的 缓存 不 能 保证 获取 最 新 的 
数据 ， 但 生 能 保证 获得 比较 新 的 数据 。 在 一 些 场 景 下 ， 应 用 需 
要 的 是 获得 相应 的 数据 然后 继续 业务 逻辑 ， 是 否 是 当下 最 新 的 
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数据 快照 


数据 缓存 能 够 缓存 应 用 客户 端 获取 到 的 最 新 数据 ， 而 数据 快照 
保存 的 是 最 近 几 次 更 新 的 数据 ， 数 据 是 比 缓存 的 数据 昌 一 些 ， 
但 是 会 保持 最 近 的 多 个 版 本 。 数 据 快照 用 于 服务 端 出 现 问题 并 
且 由 于 各 种 原因 不 能 使 用 数据 缓存 时 ， 例 如 缓存 的 最 新 的 数据 
配置 是 一 个 有 问题 的 配置 ， 如 采 这 时 服务 端 不 正常 的 话 ， 吏 可 
以 从 更 早 几 个 版 本 的 数据 快照 中 进行 恢复 。 


本 地 配置 


正常 情况 下 ， 应 用 通过 集中 配置 使 用 服务 端 所 给 的 配置 、 数 据 
管理 中 心 客户 端 ， 但 是 如 果 遇 到 服务 端 不 工作 ， 而 且 需 要 更 新 
配置 并 使 之 生效 的 情况 ， 束 需要 使 用 本 地 配置 这 个 特性 ， 也 束 
征 说 ， 如 果 在 本 地 配置 的 目 永 中 有 对 应 的 数据 配置 内 容 的 话 ， 
这 个 优先 级 是 最 高 的 。 如 采 服 务 端 出 现 问题 或 者 客户 端 与 服务 
端的 通信 出 故障 ， 最 坏 的 情况 也 可 以 把 新 的 配置 分 发 到 各 个 应 
用 的 某 一 特殊 位 置 ， 使 得 这 个 本 地 配置 生效 从 而 解决 服务 端 不 
可 用 的 问题 。 


文件 格式 


这 一 点 也 很 重要 。 如 采 是 二 进 制 数据 格式 ， 那 么 没有 对 应 的 工 
具 是 无 法 对 配置 进行 修改 的 。 而 我 们 在 客户 端的 容 灾 方 面 的 最 
坏 打算 就 是 整个 系统 退化 到 一 个 单机 的 应 用 上 ， 束 会 需要 直接 
00 


7.8.2 ”服务 端 实现 和 容 灾 梨 略 


如 之 前 图 7-17 中 看 到 的 ， 在 集中 配置 管理 中 心服 务 端 ， 主 要 使 用 了 Nginx 
加 Web 应 用 的 方式 *。 和 逻辑 相关 的 部 分 在 Web 应 用 上 实现 。Nginx 用 于 请 
求 的 处 理 和 最 后 结果 的 返回 ， 而 供 返 回 的 数据 则 都 在 本 地 文件 系统 


相 比 通过 Web 应 用 从 数据 库 中 获取 数据 ， 然 后 再 把 数据 传 给 Nginx， 通 过 
Nginx 返 回 本 地 文件 的 数据 要 快 很 多 ， 能 够 很 好 地 提高 系统 的 否 吐 量 ， 
这 也 是 很 多 网 站 的 内 容 静 态 化 的 方式 。 除 了 作为 静态 化 去 进行 加 速 以 
外 ， 本 地 文件 处 理 还 有 一 个 很 重要 的 职责 就 是 进行 数据 库 的 容 灾 。 有 了 
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在 服务 端 需要 做 的 另外 一 件 事 情 是 和 数据 库 的 数据 同步 ， 这 里 面包 含 以 
下 两 个 方面 。 


。 通过 当前 服务 端 更 新 数据 库 。 由 管理 SDK 的 请 求 送 到 当前 的 服务 
端 ， 服 务 端 需要 去 更 痢 数 据 库 的 数据 ， 同 时 ， 服 务 端 也 更 新 目 身 的 
本 地 文件 ， 还 可 以 通知 其 他 机 器 去 更 新 数据 ， 不 过 只 是 传送 一 个 更 
新 数据 的 通知 ， 而 不 是 传送 所 有 数据 ， 并 且 这 个 通知 也 不 是 更 新 其 
他 服务 闪 数 据 的 唯一 方式 。 

定时 检查 服务 端的 数据 与 数据 库 中 数据 的 一 致 性 。 这 是 为 了 确保 服 
务 端 本 地 文件 数据 和 数据 库 的 内 容 的 一 致 性 ， 前 面 提 到 的 如 打数 据 
更 痢 通 知 不 能 送 达 其 他 服务 端 ， 那 么 其 他 服务 端 就 需要 靠 定 时 地 检 
但 来 保证 与 数据 库 中 数据 的 一 致 性 。 


0 0 0 0 
gs 


在 容 灾 方面 ， 如 有 果 有 数据 更 新 并 且 这 时 主 备 数据 库 都 不 可 用 ， 那 么 整 需 
要 直接 修改 服务 端的 本 地 文件 的 内 容 了 。 所 以 ， 配 置 本 喘 的 文本 化 也 是 
容 灾 措施 的 前 提 条 件 。 


在 服务 端 ， 服 务 端 世 点 更 新 数据 后 虽然 会 对 其 他 节点 进行 通知 ， 但 是 这 
个 部 分 的 设计 和 实现 是 节点 间 松 耦合 的 ， 而 不 是 节点 强 绑 定 的 关系 ， 因 
为 还 是 希望 让 每 个 集中 配置 管理 中 心 的 服务 端 节 点 没有 相互 的 强 依 赖 ， 
这 样 ， 集 群 的 管理 和 扩容 等 都 会 非常 方便 。 


7.8.3 “数据库 策略 


数据 库 在 设计 时 需要 文 持 配置 的 版 本 管理 ， 也 惑 是 随 着 配置 内 容 的 更 
改 ， 老 的 版 本 是 需要 保留 的 ， 这 主要 是 为 了 方便 进行 配置 变更 的 比 对 及 
回 深 。 而 数据 库 本 喘 需 要 主 备 进 行 数据 的 容 灾 考虑 。 


到 这 里 ， 与 中 间 件 产品 相关 的 内 容 就 结束 了 。 在 接 下 来 的 革 市 中 ， 我 们 
会 了 解 与 大 型 网 站 相关 的 一 些 其 他 技术 。 


第 8 章 ”构建 大 型 网 站 的 其 他 要 素 
8.1 加速 静态 内 容 访 问 速度 的 CDN 


CDN 是 Content Delivery Network 的 缩写 ， 意 思 是 内 容 分 发 网 络 。CDN 的 
作用 是 把 用 户 需 要 的 内 容 分 发 到 离 用 户 近 的 地 方 ， 这 样 可 以 使 用 户 能 够 
残 近 获取 所 需 内 容 。 


整个 CDN 系 统 (如 图 8-1 所 示 ) 分 为 CDN 源 站 和 CDN 节 点 ，CDN 源 站 提 
供 CDN 节 点 使 用 的 数据 源头 ， 而 CDN 节 点 则 部 署 在 距离 最 终 用 户 比 较 近 
的 地 方 ， 加 速 用 户 对 站 点 的 访问 。 数 据 


图 


和 8-1 CDN 系统 


CDN 其 实 束 是 一 种 网 络 缓存 技术 ， 能 够 把 一 些 相 对 稳定 的 资源 放 到 距离 
最 终 用 户 较 近 的 机 房 ， 一 方面 可 以 节省 整个 广域网 的 带宽 消耗 ， 另 外 一 


方面 可 以 提升 用 户 的 访问 速度 ， 改 进 用 户 体 验 。 我 们 一 般 把 一 些 相 对 静 
态 的 文件 (例如 图 片 、 视 频 、JS 脚 本 、 一 些 页 面 框架 ) 放 在 CDN 中 。 


我 们 通过 浏览 需 访 问 一 个 网 站 的 过 程 大 致 如 图 8-2 所 示 。 


用 户 提交 域名 浏览 器 对 域名 得 到 目标 主机 根据 IP 地 址 发 得 到 请 求 数据 
进行 解析 IP 地 址 送 请 求 并 显示 


图 8-2 ”浏览 器 访问 网 站 的 流程 
(1) 用 户 向 浏览 器 提交 要 访问 的 域名 。 

(2) 浏览 器 对 域名 进行 解析 ， 得 到 域名 对 应 的 人 P 地 址 。 
(3) 

(4) 


1 


浏览 器 向 所 得 到 的 JP 地址 发 送 请 求 。 
浏览 器 根据 返回 的 数据 显示 网 页 的 内 容 。 


而 在 有 了 CDN 以 后 ， 用 户 通 过 浏览 器 访问 网 站 的 过 程 会 产生 一 些 变 化 ， 
如 图 8-3 所 示 。 


3 


4 


用 户 提 交 域 名 浏览 器 对 域名 进行 解析 CDN 域 名 服务 器 返回 指 


定 域名 的 CNAME 记 录 


对 CNAME 记 录 进 行 再 
解析 


向 得 到 的 CDN 的 Ip 地 址 得 到 CDN 的 地 址 
发 出 请 求 


请 求 源 站 ， 获 取 内 容 


图 8-3 引入 CDN 后 浏览 器 访问 网 站 的 流程 
(1) 用 户 向 浏览 器 提交 要 访问 的 域名 。 


(2) 浏览 器 对 域名 进行 解析 ， 由 于 CDN 对 域名 解析 过 程 进行 了 调整 ， 
所 以 得 到 的 是 该 域名 对 应 的 CNAME 记 录 。 

(3) 对 CNAME 再 次 进行 解析 ， 得 到 实际 了 地址。 在 这 次 的 解析 中 ， 会 
使 用 全 局 负载 均衡 DNS 解析 ， 也 就 是 我 们 需要 返回 具体 了 也 地址 ， 需 要 根 
据 地 理 位 置信 息 以 及 所 在 的 ISP 来 确定 返回 的 结果 ， 这 个 过 程 才能 让 身 
处 不 同 地 域 、 连 接 不 同 接 入 商 的 用 户 得 到 最 适合 自己 访问 的 CDN 地 址 ， 
才能 做 到 就 近 访 问 ， 从 而 提升 速度 。 


(4) 得 到 实际 的 了 地 址 以 后 ， 向 服务 器 发 出 访问 请 求 。 
(5) CDN 会 根据 请 求 的 内 容 是 否 在 本 地 缓存 进行 不 同 处 理 


。 如 果 存 在 ， 则 直接 返回 结 采 。 
。 如 有 果 不 存在 ， 则 CDN 请 求 源 站 ， 获 取 内 容 ， 然 后 再 返回 结果 。 


通过 这 个 流程 ， 我 们 也 可 以 看 到 CDN 中 的 几 个 关键 技术 。 


全 局 调度 是 完成 用 户 就 近 访 问 的 第 一 步 ， 我 们 需要 根据 用 户 地 
域 、 接 入 运营 商 以 及 CDN 机 房 的 负载 情况 去 调度 。 前 面 两 个 调 
度 因 素 需 要 一 个 尽 可 能 精准 的 IP 地 址 库 ， 这 是 正确 调用 的 前 提 
( 误 识别 的 IP 地 址 到 地 理 位 置 的 对 应 可 能 会 把 东北 的 用 户 调度 
到 华南 的 站 点 去 ) ， 当 然 ， 做 到 100% 的 精准 是 不 现实 的 。IP 
地 址 库 的 维护 是 一 个 持续 和 变化 的 过 程 ， 并 且 调 度 的 策略 随 着 
CDN 机 房 的 增加 也 会 变化 。 人 例如， 我们 不 可 能 在 所 有 城市 都 设 
置 CDN 机 房 ， 假 设 刚 开 始 河南 整个 省 份 没有 CDN 机 房 ， 可 能 河 
南 靠 北 的 城市 使 用 天 津 的 CDN， 同 时 河南 靠 南 的 城市 使 用 湖北 
的 CDN 会 比较 好 ， 而 如 果 后 来 在 郑州 市 建设 了 CDN 机 房 的 话 ， 
那么 原来 的 调度 策略 就 会 修改 了 。CDN 的 负载 也 是 调度 中 的 一 
个 影响 因素 ， 举 例 来 说 ， 如 果 一 个 CDN 机 房 距离 你 的 位 置 比较 
近 ， 但 是 它 的 负载 已 经 很 高 ， 响 应 很 慢 ， 那 么 你 的 请 求 送 到 距 
离 稍 远 的 CDN 机 房 反 而 会 更 快 。 


缓存 技术 


从 上 面 的 流程 中 我 们 看 到 ， 如 有 果 用 户 请 求 的 内 容 不 在 CDN 中 的 
话 ，CDN 会 回 到 源 站 去 加 载 内 容 ， 然 后 返回 给 用 户 。 所 以 ， 如 


果 CDN 机 房 的 请 求 命 中 率 不 高 的 话 ， 那 么 起 到 的 加 速效 果 也 十 
相对 有 限 的 。 


要 提升 命中 率 ， 束 需要 CDN 机 房 中 有 尽 可 能 全 面 的 数据 ， 这 要 
求 CDN 机 房 的 缓存 容量 要 足够 大 ， 我 们 可 以 使 用 “内 存 
+SSD+ 机 器 人 硬盘 ”的 混合 存储 方式 来 所 升 整体 的 缓存 容量 ， 并 
且 需 要 做 好 冷 热 数据 的 交换 ， 在 提升 命中 率 时 也 尽量 降低 缓存 
的 响应 时 间 。 


此 外 ， 当 CDN 的 Cache 没 有 命中 要 回 源 加 载 数据 时 ， 合 并 同样 
数据 的 请 求 也 是 一 个 很 重要 的 优化 ， 这 样 可 以 减少 重复 的 请 
求 ， 降 低 源 站 的 压力 。 


最 后 ， 新 增 、 变 更 数据 后 的 CDN 预 加 载 也 是 一 个 提升 命中 率 的 
办 法 。 也 就 是 在 没有 请 求 进来 时 ，CDN 主 动 去 加 载 数据 ， 做 好 


准备 。 当 然 这 个 主动 加 载 一 般 也 需要 源 站 有 一 个 通知 过 来 。 
。 内容 分 发 


这 里 提 到 的 内 容 分 发 主要 是 对 内 容 全 部 在 CDN 上 不 用 回 源 的 数 

据 的 管理 和 分 发 ， 例 如 一 些 静 态 页 面 等 。 具 体 做 法 是 在 内 容 管 

理 系 统 中 进行 编辑 修改 后 ， 通 过 分 发 系统 分 发 到 各 个 CDN 的 节 

Se 0 
了 可 品 。 


带宽 优化 


CDN 提 供 了 内 容 加 速 ， 很 多 请 求 和 流量 都 压 到 了 CDN 上 ， 那 么 
如 何 能 够 比较 有 效 地 市 省 带宽 会 是 一 个 很 重要 的 事情 ， 因 为 这 
直接 关系 到 流量 成 本 。 优 化 的 思路 是 只 返回 必要 的 数据 、 用 更 
好 的 压缩 算法 等 。 


在 CDN 的 应 用 中 ， 从 传统 意义 上 来 讲 ， 主 要 是 把 用 户 需 要 访问 的 内 容 放 
到 离 用 户 近 的 地 方 。 可 以 发 现 大 部 分 流量 是 从 源 站 到 CDN 机 房 的 流量 ， 
我 们 也 可 以 利用 CDN 机 房 距 离 目标 用 户 近 的 地 点 ， 让 一 些 上 传 的 工作 从 
CDN 接 入 ， 然 后 再 从 CDN 传 到 源 站 ， 这 一 方面 可 以 提升 用 户 的 上 传 速 
度 ， 另 一 方面 也 很 好 地 利用 了 从 CDN 机 房 到 源 站 的 上 行 带宽 。 


8.2 ”大 型 网 站 的 存储 支持 


在 大 型 网 站 中 ， 基 本 上 就 是 在 解决 存储 和 计算 的 问题 ， 当 然 ， 很 多 系统 
也 都 十 围绕 这 两 个 问题 在 运转 的 。 存 储 系统 是 一 个 很 重要 的 文 撑 系统 。 


从 网 站 使 用 存储 的 角度 来 看 ， 大 部 分 都 是 先 从 关系 型 数据 库 开始 的 ， 而 
且 有 可 能 会 把 一 些 操 作 放 在 数据 库 中 去 做 ， 例 如 一 些 触 发 左 、 存 人 铺 过 
程 ， 这 在 开始 阶段 可 能 可 以 很 好 解决 问题 ， 但 是 在 后 面 会 而 来 很 多 麻 
烦 。 随 着 业务 的 发 展 ， 会 引入 分 库 分 表 等 方式 来 解决 问题 。 


关系 型 数据 库 系统 本 身 建 在 Key-Value 基 础 上 ， 很 好 地 支持 了 关系 代数 ， 
给 业务 带 来 了 非常 大 的 便利 。 但 是 ， 大 型 网 站 中 对 存储 的 需求 不 能 完全 
通过 关系 型 数据 库 来 满足 。 


8.2.1 分布 式 文件 系统 


对 一 些 图 片 、 大 文本 的 存储 ， 使 用 数据 库 就 不 合适 了 。 可 以 考虑 的 一 个 
方案 是 采用 NAS 网 络 存储 设备 ， 不 过 NAS 本 身 的 IO 吞吐 性 能 及 扩展 性 在 
0 另外 一 个 方案 是 采用 分 布 式 文 件 
分 0 2? 


分 布 式 文件 系统 有 很 多 具体 产品 ， 其 中 有 很 多 是 开源 的 系统 (包括 淘宝 
的 TFS) 。 这 一 部 分 不 得 不 提 的 是 Google 的 GFS ( Google File 
System) ， 这 是 一 个 不 开源 的 系统 ，Google 在 2003 年 发 表 了 名 为 The 
Google File System 的 论文 ， 介 绍 了 GFS 的 设计 ， 如 图 8-4 所 示 。 
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图 8-4 ”GFS 结 构图 


图 8-4 是 GFS 论 文中 介绍 的 GFS 结 构图 。 主 要 由 三 部 分 构成 ，GFS Client 
(客户 端 ) 、GES Master (在 有 些 系 统 中 被 称 为 Namenode) 、CFS 


chunkserver 〈 在 有 些 系统 被 称 为 DataNode) 。 
e。 Client 


应 用 使 用 GFS 的 入 口 ，Client 负 责 从 GFS Master 上 获取 要 操作 的 
文件 在 ChunkServer 中 的 具体 地 址 ， 然 后 直接 和 ChunkServer 通 
信 ， 获 取 数 据 或 者 进行 数据 的 写 入 、 更 新 。 


。 Master 


可 以 说 是 整个 系统 的 大 脑 ， 这 里 维护 了 所 有 的 文件 系统 元 数 
据 ， 包 括 名 字 空 间 、 访 问 控制 信息 、 文 件 与 Chunk (数据 块 ) 
的 映射 信息 、Chunk 的 当前 位 置 等 。Master 也 控制 整个 系统 范 
内 的 一 些 活动 ， 例 如 无 效 Chunk 的 回收 、ChunkServer 之 前 
Chunk 的 迁移 等 。Master 与 ChunkServer 之 间 通 过 周期 性 的 心跳 
进行 通信 ， 检 测 对 方 是 否 在 线 。 


ChunkServer 


这 是 文件 数据 存储 的 地 方 。 在 每 个 ChunkServer 上 会 用 Chunk 
(数据 块 ) 的 方式 来 管理 数据 ， 每 个 Chunk 是 固定 大 小 的 文 
件 ， 超 过 Chunk 大 小 的 文件 会 被 分 为 多 个 Chunk 进 行 存 储 ， 而 对 
ee 则 会 将 多 个 文件 保存 在 一 个 Chunk 


GFS 主 要 解决 了 单机 文件 存储 容量 及 安全 性 的 问题 ， 把 多 台 廉 价 PC 组 成 
一 个 大 的 分 布 式 的 看 起 来 像 文件 系统 的 集群 ， 并 对 外 提供 文件 系统 的 服 
务 ， 可 以 满足 业务 系统 对 文件 存储 的 需求 。 


通过 GFS 的 论文 可 以 详细 了 解 整 体 的 设计 和 一 些 细节 问题 的 应 对 和 人 解 
决 ， 而 开源 的 系统 中 也 有 类 似 GFS 的 实现 ， 例 如 HDFS 就 是 采用 Java 的 类 
GFS 的 实现 ， 可 以 通过 HDFS 去 了 解 具体 实现 的 代码 细节 。 


8.2.2 NoSQL 


前 面 我 们 看 了 关系 型 数据 库 和 分 布 式 文 件 系 统 ， 这 一 小 节 我 们 来 了 解 一 
下 NoSQL。NoSQL 最 初 多 被 理解 为 没有 (不 是 ) SQL 一 一 即 No SQL ， 
后 面 也 被 理解 为 Not Only SQL。 如 果 认 为 NoSQL 能 够 完全 解决 所 有 问 


题 ， 彻 底 蔡 换 关系 型 数据 库 ， 这 样 的 观点 束 太 绝对 了 “。 在 大 型 网 站 中 ， 
需要 去 存储 的 不 同 内 容 的 特性 、 访 问 特性 、 事 务 特性 等 方面 的 要 求 会 有 
很 大 不 同 ， 无 论 是 关系 型 数据 库 、 分 布 式 文件 系统 还 是 这 里 看 到 的 
NoSQL， 都 会 有 自己 所 擅长 的 场景 。 


NoSQL 涵 盖 的 范围 很 广 ， 基 本 上 处 于 分 布 式 文件 系统 和 SQL 关系 型 数据 
库 之 间 的 系统 都 被 归 为 NoSQL 的 范畴 。 下 面 分 别 从 数据 模型 和 系统 结构 
两 个 方面 来 介绍 一 下 NoSQL 。 首 先 从 NoSQL 的 数据 模型 方面 做 一 个 区 
> 


8-5 来 自发 布 于 Highly Scalable Blog 中 的 NoSQL Data Modeling 
Techniques 文 章 。 这 个 图 中 有 两 个 很 有 意思 的 地 方 ， 一 个 是 NoSQL 和 
SQL 的 基础 都 来 自 于 Key-Value， 另 外 一 个 是 如 果 NoSQL 继 续 发 展 并 完善 
功能 ， 就 会 变 成 SQL 关系 型 数据 库 了 。 


Stop following me, you fucking freaks! 
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图 8-5 ”NoSQL 介 绍 
。 Key-Value 


这 是 最 基础 的 技术 文 撑 ， 后 续 的 产品 都 是 基于 Key-Value 存 储 而 
发 展 起 来 的 。 但 是 Key-Value 存 储 有 一 个 很 大 的 问题 ， 即 没有 办 
法 进行 高 效 的 范围 查询 。 


。 Ordered Key-Value 


这 是 在 Key-Value 基 础 上 的 一 个 改进 ，Key 是 有 序 的 ， 这 样 可 以 
解决 基于 Key 的 范围 查询 的 效率 问题 ， 不 过 在 这 个 模型 中 ， 
Value 本 吴 的 内 容 和 结构 是 由 应 用 来 负责 解析 和 存储 的 ， 如 采 在 
多 个 应 用 中 去 使 用 的 话 ， 这 种 方式 并 不 直观 也 不 方便 。 


图 8-5 中 的 各 部 分 分 别 介绍 如 下 。 
。BigTable 


BigTable 是 Google 在 2006 发 表 的 名 为 Bigtable: A Distributed 
Storage Systemjfor Structured Data 的 论文 中 提 到 的 一 个 产品 ， 是 
一 个 结构 化 数据 的 分 布 式 存储 系统 。 从 数据 模型 上 讲 ， 
BigTable 对 Value 进 行 了 Schema 的 支持 ，Value 是 由 多 个 Column 
Family 组 成 ，Column Family 内 部 是 Column，Column Family 不 
能 动态 扩展 ， 而 Column Family 内 部 的 Column 是 可 以 动态 扩展 
的 。 


Document, Full-Text Search 


Document 数 据 库 有 两 个 非常 大 的 进步 ， 一 个 是 可 以 在 Value 中 
任意 自 定 义 复杂 的 Scheme， 而 不 再 仅仅 是 Map 的 租 套 ; 另 一 个 
是 对 索引 方面 的 支持 。 而 全 文 搜索 则 提供 了 对 于 数据 内 容 的 搜 
索 的 文 持 ， 当 然 ， 将 全 文 搜索 归属 于 NoSQL 的 范畴 有 些 牵 强 。 


。 Graph 


(Graph) 数据库 可 以 看 作 是 从 有 序 Key-Value 数 据 库 发 展 而 
来 的 一 个 分 支 。 主 要 是 支持 图 结构 的 数据 模型 。 


上 上面 的 内 容 是 从 数据 模型 维度 的 一 个 划分 和 介绍 。 其 中 Full-Text Search 

和 Graph 在 一 些 地 方 可 能 不 归 为 NoSQL ， 不 过 这 不 是 那么 重要 ， 我 们 主 

和 还 有 一 些 怎 样 
J 仔 j 人 540? 


我 们 再 从 系统 结构 上 来 看 一 下 NoSQL 。 


图 8-6 所 示 是 HBase 的 结构 图 ， 而 HBase 可 以 说 是 借鉴 Google BigTable 的 
一 个 Java 版 本 的 开源 实现 。 从 结构 上 我 们 可 以 看 出 ， 存 储 到 HBase 的 数 
据 是 通过 HRegionServer 来 管理 的 ， 每 个 HRegionServer 中 管理 了 多 个 
HRegion， 每 个 Region 中 管理 具体 的 数据 。 而 HMaster 则 是 管理 所 有 
HRegionServer 的 方 点 ， 是 一 个 中 心 控 制 的 结构 。 而 这 里 的 HMaster 与 前 
面 GFS 中 Master 的 作用 是 类 似 的 。 


HBase 


属 品 避 吕 品 品 Gaaaoa GO 国 品 品 品 品 品 ee ee 


Hadoop 


图 8-6 ”HBase 结 构 


还 有 一 种 比较 经 典 的 结构 是 Amazon 的 Dynamo 结 构 ， 如 图 8-7 所 


此 外 ， 还 
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图 8-7 Dynamo 结 构 


Dynamo 整 个 集群 中 的 数据 分 布 不 是 通过 类 似 HBase 中 Master 的 方式 来 管 
理 ， 而 是 采用 了 一 致 性 哈 希 进行 管理 。Cassandra 是 一 个 开源 的 类 似 


Dynamo 的 实现 ， 当 然 在 一 些 细节 的 处 理 和 渍 略 上 会 有 差异 。 


在 存储 领域 ，Google 是 非常 领先 的 。Google 系 统 开源 的 不 多 ， 因 此 我 们 
对 其 了 解 更 多 的 是 通过 论文 。 


8.2.3 ”缓存 系统 


缓存 系统 可 以 看 做 一 种 特殊 的 存储 ， 存 人 鱼 在 大 家 的 印象 中 多 是 持久 的 ， 
而 缓存 是 非 持 久 的 存储 ， 是 为 了 加 速 应 用 对 数据 的 读 取 。 


Redis 和 Memcache 是 两 个 使 用 很 广泛 的 开源 缓存 系统 。Redis 已 经 有 了 对 
于 集群 的 支持 ， 当 然 Redis 也 可 以 当做 单机 的 应 用 来 使 用 ， 而 Memcache 
本 身 还 是 一 个 单机 的 应 用 。 在 使 用 上 时， 如果 想 把 多 个 节点 构建 成 一 个 集 
群 是 需要 去 考虑 的 ， 常 见 的 是 采用 一 任性 哈 希 的 方式 。 


0 有 两 个 重要 的 使 用 缓存 的 场景 ， 第 一 个 如 图 8-8 
不 ? 


图 8-8 


缓存 来 管理 存储 的 方式 


图 8-8 所 示 的 是 网 站 应 用 中 使 用 缓存 来 降低 对 撒 层 存储 的 读 压 力 ， 需 要 注 
意 的 是 缓存 和 数据 存储 中 数据 一 致 性 的 问题 。 此 外 我 们 还 有 多 种 使 用 组 
存 和 存储 的 模式 ， 它 们 之 间 会 有 一 些 差 异 。 


这 种 方式 中 ， 应 用 是 不 直接 操作 存储 的 ， 存 人 鱼 由 缓存 来 控制 。 对 于 应 用 
的 逻辑 来 说 这 很 简单 ， 但 是 对 于 缓存 来 说 ， 因 为 需要 保证 数据 写 入 缓存 
后 能 够 存 入 存储 中 ， 所 以 缓存 本 身 的 逻辑 会 复杂 些 ， 需 要 有 很 多 操作 日 
志 及 故障 恢复 等 。 


图 8-9 显 示 的 是 另 一 种 应 用 使 用 缓存 的 方式 。 在 这 种 方式 中 ， 应 用 直接 与 
缓存 和 存储 进行 交互 。 一 般 的 做 法 是 应 用 在 写 数 据 时 更 新 存储 ， 然 后 失 
效 缓存 数据 ， 而 在 读数 据 时 首先 读 缓存 ， 如 采 绥 存 中 没有 数据 ， 那 么 再 
去 读 存 储 ， 并 且 把 数据 写 入 缓存 。 


图 8-9 应 用 直接 管理 缓存 和 存储 的 方式 


这 里 需要 重点 考虑 的 是 缓存 和 存储 数据 一 致 性 的 问题 ， 当 然 ， 这 里 是 指 
最 终 一 致 。 重 点 需要 考虑 的 是 缓存 没有 命中 和 数据 更 改 的 情况 ， 以 及 更 
新 存储 中 的 数据 后 没 来 得 及 失效 缓存 的 问题 。 


图 8-10 所 示 的 方案 对 于 全 数据 缓存 比较 合适 ， 也 就 是 说 当 存 储 的 数据 发 
生变 化 时 ， 直 接 从 存储 去 同步 数据 到 缓存 中 ， 以 更 新 缓存 数据 ， 这 比较 
类 似 “ 数 据 访问 层 ” 一 章 (第 5 章 ) 中 提 到 的 数据 变更 通知 平台 的 适用 场 
景 。 这 样 应 用 完全 从 缓存 中 读 就 行 了 。 如 果 绥 存 的 不 是 全 数据 ， 那 么 可 
0 
、 Ea o 


图 8-10 ”存储 数据 变更 直接 同步 给 缓存 的 方式 


大 型 网 站 中 使 用 缓存 的 另 一 个 重要 场景 是 对 于 Web 应 用 的 页 面 泻 染 内 容 
的 缓存 。 如 图 8-11 所 示 ， 我 们 以 一 个 展示 的 页 面 为 例 。 我 们 对 页 面 进行 
了 分 块 儿 ， 其 中 有 相对 静态 的 内 容 和 动态 的 内 容 ， 如 果 整 个 页 面 采 用 在 
服务 器 端 泻 染 的 方式 ， 我 们 希望 相对 静态 的 内 容 可 以 进行 缓存 而 不 是 每 
次 都 要 重新 泻 染 。 具 体 的 实现 技术 为 ESI (Edge Side Includes) ， 是 通 
过 在 返回 的 页 面 中 加 上 特殊 的 标签 ， 然 后 根据 标签 的 内 容 去 用 缓存 进行 
填充 的 一 个 过 程 。 


动态 内 容 动态 内 容 动态 内 容 


图 8-11 ”页面 动 静态 内 容 示意 图 


整个 工作 流程 如 图 8-12 所 示 。 


图 8-12 ”ESI 标 签 处 理 流 程 


图 8-12 显 示 了 处 理 ESI 标 签 的 流程 。 处 理 ESI 标 签 的 具体 工作 可 以 放 在 
人 也 可 以 放 在 Java 应 用 容 右 前 置 的 服务 器 做 ， 如 图 
8-13 有 HT 不 。 


前 置 Web 服 务 器 


前 置 Web 服 务 器 


java 应 用 容器 


图 8-13 ”ESI 处 理 模块 部 署 结构 


这 两 种 方式 对 比如 下 。 
。 渲染 页 面 和 ESI 处 理 在 一 个 进程 中 ， 处 理 效率 会 提升 ， 当 页 面 内 容 


征 内 部 对 象 时 就 可 以 处 理 ESI 标 签 了 ， 而 如 果 放 在 前 置 Web 服 务 顺 ， 
需要 对 内 容 再 进行 一 次 扫描 ， 定 位 到 ESI 标 签 后 再 处 理 。 

ESI 放 在 前 置 Web 服 务 器 上 处 理 ， 那 么 对 于 后 端 来 说 可 以 不 单独 考虑 
ESI 标 等 的 问题 ， 例 如 当 后 端 处 理 请 求 有 Java 应 用 、PHP 应 用 ， 甚 至 


还 有 其 他 应 用 了 时， 可 以 统一 把 ESI 处 理 放 在 前 置 的 Web 服 务 絮 上 ， 这 
样 后 端 就 只 用 处 理 请 求 ， 而 不 必 对 每 个 应 用 都 去 处 理 ESI 的 工作 。 


8.3 ”搜索 系统 


这 里 讲 的 搜索 不 是 指 像 Google 这 样 的 全 网 搜索 ， 主 要 讲 的 是 站 内 搜索 。 
当 网 站 的 数据 量 和 访问 量 很 小 时 ， 一 些 数据 的 查询 可 以 直接 用 数据 库 的 
Like 操 作 来 实现 。 当 然 ， 这 种 方式 的 实现 效率 是 很 低 的 ， 而 且 也 不 够 智 
能 。 当 网 站 的 数据 量 和 访问 量 逐 步 增 大 时 ， 怠 需要 在 站 内 使 用 搜索 技术 
来 解决 信息 查找 的 问题 。 


8.3.1” 扑 虫 问题 


对 于 全 网 搜索 来 说 ， 怜 虫 是 一 个 非常 关键 的 系统 ， 需 要 通过 怜 虫 去 获取 
被 检索 的 网 站 的 网 页 信息 。 在 站 内 搜索 中 ， 我 们 同样 需要 可 以 发 现 、 获 
取 要 被 搜索 的 内 容 的 系统 (这 个 系统 在 站 内 一 般 不 称 为 候 虫 ) 。 对 于 内 
部 搜索 来 说， 进入 搜索 系统 中 的 数据 的 来 产 、 格 式 及 要 求 更 新 的 频率 都 
征 已 知 的 ， 这 为 我 们 根据 数据 变化 来 更 新 索引 囊 来 了 很 大 的 便利 。 


更 新 索 引 的 方式 一 般 有 如 下 两 种 。 


。 定时 从 数据 源 〈 一 般 是 关系 型 数据 库 ) 中 拉 取 ， 我 们 称 之 为 增 量 
Dump， 这 要 求 数据 库 记 隶 中 有 一 个 记录 变更 时 间 的 字段 ， 否 则 或 
无 法 获取 一 段 时 间 内 变化 的 数据 ， 而 这 个 字段 需要 有 索引 ， 人 否则 会 
使 效率 变 得 很 低 。 增 量 Dump 开 始 前 ， 需 要 进行 全 量 的 Dump 构 造 初 
。 增 量 的 时 间 间 隔 一 般 会 在 分 钟 级 ， 这 会 引起 明显 延 
上 时 二 

。 通过 数据 变更 的 通知 ， 及 时 通知 搜索 引擎 构建 索引 ， 及 时 性 会 很 
好 ， 不 过 带 来 的 系统 压力 也 比较 大 。 因 此 这 种 方式 主要 用 在 对 实时 
性 要 求 很 高 的 场景 。 


8.3.2” 倒 排 索引 


倒 排 索引 走 搜 索引 擎 中 一 项 很 重要 的 技术 ， 在 介绍 倒 排 索引 前 ， 我 们 先 
看 一 下 正 排 索引 。 


假设 我 们 有 多 篇 文章 ， 每 篇 文章 都 有 目 己 的 关键 词 ， 如 表 8-1 所 示 。 


文章 
Docl 
Doc2 
Doc3 
Doc4 


表 8-1 正 排 索引 示例 


关键 词 

keyword1,keyword2,keyword4 
keyword1,keyword3,keyword5 
keyword2,keyword5,keyword8,keyword9 
keyword6,keyword7,keyword9 


我 们 通过 文章 可 以 找到 这 篇 文章 中 的 关键 词 ， 但 是 如 果 给 定 关键 词 ， 要 
找 该 词 都 在 哪些 文章 出 现 ， 该 怎么 办 呢 ? 倒 排 索引 可 以 很 好 地 解决 这 个 


问题 ， 如 表 8-2 所 示 。 


表 8-2 ” 倒 排 索引 示例 


关键 词 

keyword1 
keyword2 
keyword3 
keyword4 
keyword5 
keyword6 
keyword7 
keyword8 
keyword9 


文章 
Docl,Doc2 
Docl1,Doc3 
Doc2 
Docl 
Doc2,Doc3 
Doc4 
Doc4 
Doc3 
Doc3,Doc4 


相对 于 正 排 索 3| ， 倒 排 索引 是 把 原来 作为 值 的 内 容 拆 分 为 索引 的 Key， 

而 原来 用 作 索 引 的 Key 则 变 成 了 值 。 搜 索引 擎 比 数据 库 的 Like 更 高 效 的 
原因 也 在 于 倒 排 索引 。 细 心 的 读者 在 这 里 可 能 会 注意 到 一 个 事情 ， 那 束 
征 如 何 确定 建立 倒 排 索引 的 关键 字 ， 这 主要 取决 于 如 何 对 要 索引 的 内 容 


进行 分 词 。 


8.3.3 ”查询 预 处理 


查询 预 处 理 主要 负责 对 用 户 输 入 的 搜索 内 容 进 行 分 词 及 分 词 后 的 分 析 ， 
包括 一 些 同 义 词 的 替换 及 纠 错 等 。 这 一 部 分 是 在 使 用 搜索 引擎 前 对 于 要 
搜索 内 容 的 梳理 环 记 ， 而 这 部 分 的 工作 也 会 影响 到 最 后 搜索 结果 的 质 
量 。 


8.3.4 ”相关 度 计算 


当 经 过 了 查询 分 析 器 的 处 理 后 ， 查 询 会 在 搜索 引擎 上 被 执行 ， 对 于 返回 
的 结果 ， 我 们 需要 计算 和 搜索 内 容 的 相关 度 后 展示 给 用 户 。 相 关 度 计算 
征 在 不 指定 按照 某 个 字段 排序 的 基础 上 对 搜索 结果 的 排序 ， 排 序 的 原则 
就 是 被 搜索 到 的 内 容 与 要 搜索 的 内 容 之 间 的 相关 度 。 


相关 度 的 计算 方式 很 多 ， 例 如 有 癌 量 空间 模型 、 概 率 模型 等 方法 。 而 相 
人 相关 度 计 算 的 最 终 体现 在 
了 条 所 J 风量。 


搜索 最 基础 的 原理 相对 容易 理解 ， 但 是 站 内 搜索 的 具体 过 程 落 地 ， 包 括 


如 何 构建 整个 搜索 的 分 布 式 系统 ， 以 及 根据 具体 的 场景 进行 优化 ， 则 是 
非常 具有 挑战 性 的 工作 。 


8.4 ”数据 计算 支撑 


计算 所 涵盖 的 范围 很 广 ， 我 们 的 系统 所 解决 的 核心 问题 就 是 存储 和 计 
算 ， 这 一 廊 的 计算 主要 是 讲 大 型 网 站 产生 的 大 量 业 务 数据 的 处 理 。 

从 实时 性 角度 来 讲 ， 我 们 可 以 把 计算 分 为 离线 计算 和 实时 计算 。 

1. 离线 计算 

顾名思义 ， 离 线 计算 是 业务 产生 的 数据 离开 生产 环境 后 进行 的 计算 。 就 
是 把 业务 数据 从 在 线 存储 中 移动 到 离线 存储 中 ， 然 后 进行 数据 处 理 的 过 
程 。 从 时 效 性 来 说 ， 计 算 结 果 和 产生 数据 的 时 刻 相 比 会 有 比较 大 的 延 


壕 。 


在 离线 计算 领域 ，MapReduce 模 型 是 非常 著名 和 和 党 用 的 ，MapReduce 是 
Google 在 2004 年 发 表 的 名 为 MapReduce: Simplified Data Processing on 
Large Clusters 的 论文 中 提出 的 。 图 8-14 展 示 了 MapReduce 处 理 的 过 程 。 
主要 分 为 两 个 阶段 ， 第 一 个 是 Map， 第 二 个 是 Reduce。 


在 Map 阶 段 ， 我 们 根据 设 定 的 规则 把 整体 数据 集 映射 给 不 同 的 Worker 来 
处 理 ， 并 且 生 成 各 自 的 处 理 结果 。 而 在 Reduce 阶 段 ， 是 对 前 面 处 理 过 的 
数据 进行 聚合 ， 形 成 最 后 的 结果 。 当 然 ， 一 个 任务 的 处 理 可 能 不 止 一 次 
MapReduce 过 程 。 


Input Map Intermediate files Reduce Output 
e as i files 


图 8-14 ”MapReduce 模 型 


MapReduce 模 型 让 我 们 能 够 使 用 统一 的 模型 和 方式 来 使 用 集群 中 多 机 ， 
降低 了 使 用 成 本 。 

Hadoop 是 MapReduce 的 一 个 开源 实现 ，Hadoop 使 用 HDFS 进 行 数据 存 
储 ， 而 Spark 则 提供 了 基于 内 存 的 集群 计算 的 文 持 。Spark 本 喘 是 为 集群 
计算 中 特定 类 型 的 工作 而 设计 的 ， 例 如 进行 机 器 学 习 的 算法 训练 等 ， 而 
基于 内 存 的 方式 使 得 Spark 的 速度 非常 快 ， 在 我 们 进行 算法 训练 时 ， 能 够 
非常 快速 地 进行 算法 的 友 代 测试 和 算法 的 收敛 。 

2. 在 线 计算 


相对 于 离线 计算 ， 在 线 计算 是 比较 实时 的 计算 ， 其 中 比较 常见 的 方式 是 
流 式 计算 。 其 中 Storm 是 使 用 比较 广泛 的 一 个 框架 。 


我 们 来 看 一 下 Storm 与 Hadoop 概 念 的 对 比 ， 如 表 8-3 所 示 。 
表 8-3 ”Storm 与 Hadoop 的 对 比 


Storm Hadoop 


Nimbus JobTracker 
Supervisor TaskTracker 
Worker Child 

Topology Job 

Spout/Bolt Mapper/Reducer 


。 Nimbus， 人 负责 资源 分 配 和 任务 调度 。 

Supervisor， 人 负责 接受 Nimbus 分 配 的 任务 ， 启 动 和 停止 属于 自己 管 
理 的 Worker 。 

Worker， 具 体 处 理 组 件 逻 辑 的 进程 。 

Task，Worker 中 的 每 一 个 Spout/Bolt 线 程 称 为 一 个 Task， 在 0.8 版 本 以 
后 的 Storm 中 ，Task 不 再 与 物理 线程 一 一 对 应 ， 同 一 个 Spout/Blot 的 
Task 可 能 会 共享 一 个 物理 线程 ， 称 为 Executor 。 


图 8-15 所 示 是 Storm 的 一 个 具体 实例 的 拓扑 结构 ，Spout 是 整个 处 理 流程 


的 入 口 ， 也 是 数据 的 源头 ， 而 Bolt 是 整个 流 中 的 处 理 世 点 。 整 个 拓扑 结 
构 决 定 了 数据 的 流转 和 处 理 ， 所 以 也 称 为 流 式 计 算 。Yahoo! 的 S4 也 是 


一 个 类 似 的 产品 。 


© 


图 8-15 Storm 实例 的 拓扑 结构 


在 第 6 章 介绍 消息 中 间 件 时 说 过 ， 消 妃 中 间 件 作为 消 轧 投递 的 来 源 ， 其 
实 也 是 一 个 数据 处 理 流程 的 源头 ， 订 阅 消 乱 的 应 用 也 是 实时 地 对 消 恩 进 
行 处 理 ， 只 不 过 这 种 情况 下 ， 更 多 的 是 订阅 者 上 自身 处 理 完毕 就 结束 了 。 
相当 于 一 层 结构 的 简单 流 式 处 理 的 拓扑 ， 是 最 简化 的 一 种 情况 。 


8.5 ”发 布 系统 


当 我 们 完成 应 用 的 开发 和 测试 之 后 ， 需 要 使 应 用 上 线 来 为 最 终 用 户 提 供 
服务 。 这 是 一 个 看 起 来 非常 简单 的 工作 ， 但 是 ， 当 你 要 管理 的 应 用 服务 
器 多 达 数 万 全 时 ， 当 需要 不 影响 用 户 而 完成 发 布 工作 时 ， 当 你 要 考虑 文 
持 灰 度 发 布 时 ， 发 布 的 工作 就 会 变 得 比较 复杂 。 


我 们 来 介绍 一 下 发 布 系统 应 该 完成 的 工作 。 
1. 分 发 应 用 


我 们 需要 提供 自动 高 效 并 且 容 易 操 作 的 机 制 来 把 经 过 测试 的 程序 包 分 发 

到 线 上 的 应 用 中 ， 这 里 我 们 一 般 会 采用 Web 的 操作 方式 ， 通 过 专用 通道 

人 
点 需要 注意 。 


先 来 看 第 一 点 。 如 图 8-16 所 示 ， 在 多 机 房 的 情况 下 ， 我 们 考虑 在 每 个 机 
房 部 部 团 发 布 服务 器 ， 由 机 房 内 的 发 布 服务 器 人 负责 本 机 房 的 程序 包 的 分 
发 ， 而 发 布控 制 台 的 实现 上 ， 可 以 考虑 只 把 程序 包 分 发 给 所 有 发 布 服务 
絮 中 的 一 台 ， 由 这 个 发 布 服务 器 人 负责 在 多 个 机 房 的 发 布 服务 器 之 间 分 
发 ， 也 可 以 由 发 布控 制 台 人 负责 把 程序 包 分 发 给 所 有 机 房 的 发 布 服务 器 。 


图 8-16 ”发 布 系统 结构 


男 外 一 个 要 注意 的 点 是 ， 如 果 应 用 服务 器 数量 过 多 的 话 ， 可 以 采用 P2P 
技术 来 进行 程序 包 的 分 发 ， 进 而 加 快 分 发 速度 。 


2. 启动 校 验 


当 我 们 完成 应 用 程序 包 的 分 发 工作 后 ， 需 要 去 停止 当前 应 用 上 的 程序 ， 
并 完成 新 应 用 的 司 动 。 应 用 重新 局 动 后 ， 我 们 需要 进行 校 验 从 而 完成 这 
台 应 用 服务 器 上 的 应 用 发 布 。 对 应 用 的 校 验 一 般 是 由 应 用 目 身 提供 一 个 
人 


在 停止 应 用 时 ， 如 有 果 采 用 暴力 方式 ， 丈 会 影响 当时 正在 执行 的 请 求 ， 所 
以 需要 优雅 地 关闭 。 但 是 如 果 持 续 有 新 请 求 进入 的 话 ， 是 很 难 优雅 关闭 
应 用 的 ， 所 以 需要 控制 不 能 有 新 请 求 进 入 。 这 束 需 要 在 负载 均衡 或 者 软 
负载 中 心 上 做 文章 ， 也 束 是 需要 在 关闭 应 用 前 把 这 个 应 用 从 负载 均衡 或 
软 负 载 中 心 上 移 去 ， 然 后 再 优雅 地 关闭 应 用 (结束 当前 所 有 请 求 后 关 
闭 ) ， 然 后 进行 新 应 用 的 启动 及 检查 ， 检 查 通过 后 ， 再 把 这 个 应 用 加 入 
到 负载 均衡 或 者 软 负 载 上 ， 并 对 外 提供 应 用 。 


从 整个 集群 的 视角 来 看 ， 对 于 单机 应 用 的 下 线 、 重 局 、 上 线 的 操作 ， 需 
要 总 体 控 制 同 时 进行 这 个 操作 的 应 用 服务 右 的 数量 。 因 为 如 来 一 个 集群 
中 过 多 的 应 用 下 线 的 话 ， 剩 下 在 线 的 应 用 可 能 不 能 负担 当时 所 有 的 请 
求 ， 而 同时 去 操作 的 应 用 服务 器 的 数量 或 比例 一 定 古 可 调 的 。 


3. 灰 度 发 布 


应 用 虽然 经 过 了 严格 的 测试 ， 但 是 为 了 保证 万 无 一 失 ， 我 们 在 进行 发 布 
时 一 般 都 会 采用 灰 度 发 布 ， 也 就 是 会 对 狐 应 用 进行 分 批发 布 ， 逐 步 扩 大 
新 应 用 在 整个 集群 中 的 比例 直至 最 后 全 部 完成 ， 我 们 这 里 讲 的 灰 度 发 布 
主要 是 针对 新 应 用 在 用 户 体验 方面 完全 感知 不 到 的 更 新 。 从 开始 灰 度 发 
布 到 完全 结束 的 时 间 可 能 会 比较 久 (有 的 可 能 需要 一 周 多 ) ， 那 么 发 布 
系统 就 需要 记录 、 管 理 这 些 状 态 ， 并 且 完 成 整个 发 布 的 控制 。 


4. 产品 改版 Beta 


面 问 最 终 用 户 的 应 用 产品 的 改版 会 改变 用 尸 的 习惯 ， 对 于 这 样 的 改变 我 
们 不 会 一 刀 切 地 直接 推行 ， 而 会 提供 新 旧 应 用 的 共存 。 应 用 本 身 会 根据 
策略 引流 用 户 (主要 是 对 用 户 的 引导 ) ， 对 于 发 布 系统 来 说 ， 把 新 旧 两 
个 应 用 作为 两 个 应 用 集群 处 理 束 行 了 。 


8.6 ”应 用 监控 系统 


应 用 完成 开发 测试 发 布 后 ， 就 会 在 线 上 癌 最 终 用 户 提 供 服务 ， 那 么 应 用 

本 身 的 运行 情况 以 及 出 现 问 题 的 处 理 是 非常 重要 的 ， 尤 其 对 于 大 型 网 站 

来 说 ， 巨 大 的 用 户 量 以 及 对 可 用 性 的 严格 要 求 ， 就 要 求 我 们 能 够 及 时 了 

和 
| 内 总 分。 


关于 监视 部 分 ， 我们 从 下 面 几 个 维度 来 看 一 下 。 
。 数据 监视 维度 


我 们 监视 的 数据 主要 包括 系统 数据 和 应 用 目 身 的 数据 。 系 统 数 
据 指 的 就 古 当 前 应 用 运行 的 系统 环境 的 信息 ， 例 如 CPU 使 用 
率 、 内 存 使 用 情况 、 交 换 分 区 使 用 情况 、 当 前 系统 负载 、IO 傅 
况 等 ， 而 应 用 目 喘 的 数据 ， 则 是 不 同 应 用 有 不 同 的 数据 ， 一 上 般 
会 是 调用 次 数 、 成 功率 、 响 应 时 间 、 异 常数 量 等 维度 的 数据 。 
数据 记录 方式 

进行 监视 用 的 数据 采集 ， 需 要 考虑 被 采集 数据 的 记录 方式 。 系 
统 目 身 的 数据 已 经 被 记录 到 了 本 地 磁盘 上 ， 应 用 的 数据 一 般 也 


是 存 放 在 应 用 目 身 的 目 孙 中 ， 便 于 采集 。 也 有 直接 把 应 用 日 志 
通过 网 络 发 送 到 采集 服务 紫 的 情况 ， 这 样 是 可 以 减轻 本 地 写 日 


志 的 压力 ， 不 过 也 需要 考虑 网 络 或 者 远程 服务 器 不 可 用 的 情 
况 ， 这 种 情况 下 还 是 需要 先 写 到 本 地 。 


对 于 应 用 数据 的 记录 ， 我 们 首先 会 考虑 用 定时 统计 的 方式 记录 
一 些 量 很 大 的 信息 。 例 如 ， 对 于 一 个 提供 服务 的 应 用 ， 在 没有 
守 别 需求 时 ， 我 们 并 不 直接 记录 每 次 调用 的 信息 ， 而 是 会 记录 
一 段 时 间 (例如 5 秒 或 者 一 个 间隔 时 间 ) 内 的 总 调用 次 数 、 总 
啊 应 时 间 这 样 的 信息 ， 而 对 于 异常 等 信息 ， 则 每 条 都 会 予以 记 
录 。 采 用 统计 的 方式 记录 是 为 了 减 小 记录 的 大 小 以 及 对 本 地 磁 
盘 的 写 入 压力 。 


数据 采集 万 式 


这 是 应 用 监视 的 基础 ， 数 据 在 整个 集群 的 各 个 服务 器 中 产生 ， 
采集 方式 有 应 用 服务 器 主动 推送 给 监控 中 心 以 及 等 待 监控 中 心 
来 拉 取 两 种 方式 。 通 过 应 用 服务 器 来 推送 ， 控 制 权 在 应 用 服务 
右上， 采集 的 频率 由 应 用 服务 器 控制 ， 那 么 这 种 情况 下 可 能 出 
现 的 问题 是 应 用 服务 占 推 送 的 压力 超过 采集 的 中 心服 务 右 的 能 
力 ， 会 造成 重 试 等 额外 开销 ， 并 且 需 要 应 用 服务 器 上 的 推送 程 
序 控制 重 试 逻辑 和 当前 传送 位 置 等 信息 。 另 外 一 种 方式 是 由 中 
心 末 集 服务 器 去 主动 拉 取 ， 这 是 一 个 轮 询 的 过 程 ， 采 用 长 轮 询 
的 方式 可 以 获得 较 低 的 延迟 ， 不 过 开销 比 长 连接 要 大 一 些 。 通 
过 中 心 采集 服务 右 去 拉 取 ， 整 个 逻辑 及 关于 日 志 位 点 的 记录 则 
都 由 中 心 采集 服务 器 来 完成 。 把 复杂 性 都 放 在 中 心 采集 服务 器 
和 


展现 与 告警 


中 心 采集 服务 右 收 集 的 数据 会 集中 存储 ， 采 用 图 表 的 方式 可 以 
提供 Web 页 面 的 展示 ， 并 且 根 据 设 置 的 告警 条 件 和 接收 入 进行 
告警 。 之 前 多 是 通过 短信 方式 来 告警 ， 现 在 通过 手机 应 用 来 接 
收报 警 会 是 一 个 更 好 的 方式 。 


下 面 来 说 说 控制 的 部 分 ， 这 里 说 的 控制 是 应 用 局 动 后 在 运行 期 对 于 应 用 
的 行为 改变 。 对 于 应 用 的 运 维 ， 最 低 的 要 求 是 出 现 问题 时 可 以 通过 重 局 
应 用 解决 ， 但 是 我 们 还 是 需要 更 加 精细 化 地 控制 应 用 ， 其 实 比较 多 的 控 
制 是 进行 降级 和 一 些 切 换 。 降 级 是 我 们 遇 到 大 量 请 求 且 不 能 扩容 的 情况 
时 所 进行 的 功能 限制 的 行为 ， 可 能 针对 某 个 功能 的 所 有 使 用 者 进行 限 


制 ， 也 可 能 是 根据 不 同 使 用 者 来 进行 限制 。 切 换 更 多 的 是 当 依赖 的 下 层 
系统 出 现 故障 并 且 需 要 手工 进行 切换 时 的 一 个 管理 。 这 些 控制 一 般 都 是 
` 参数 设置 来 完成 ， 需 要 得 到 第 7 章 介绍 的 集中 配置 管理 中 心 
上 十 0 


8.7 ”依赖 管理 系统 


通过 应 用 中 间 件 及 各 种 确 层 的 系统 ， 网 站 已 经 不 再 是 最 初 的 集中 式 应 用 
了 ， 而 已 经 成 为 了 一 个 大 型 的 分 布 式 系统 。 在 这 个 系统 中 有 各 种 应 用 集 
群 ， 这 些 应 用 集群 和 底层 系统 之 间 有 着 相互 的 依赖 关系， 而 且 随 着 网 站 
功能 的 增多 ， 应 用 的 个 数 会 快速 增加 ， 应 用 之 间 的 关系 也 会 越 来 越 复 
杂 ， 理 清 这 些 依赖 关系 并 能 够 管理 这 些 依赖 会 非常 重要 。 


首先 ， 我 们 需要 知道 一 个 应 用 在 完成 某 个 功能 时 到 底 需 要 依赖 哪些 外 部 
系统 ， 在 此 基础 上 ， 我 们 还 需要 知道 这 些 依赖 中 哪些 是 必要 的 依赖 ( 强 
依赖 ) ， 哪 些 是 有 了 更 好 没有 也 可 以 的 依赖 〈 弱 依赖 ) 。 


来 看 一 个 简单 的 例子 (如 图 8-17 所 示 ) 。 假 设 我 们 有 三 个 应 用 ， 需 要 它 
们 合作 完成 用 户 登 录 的 功能 ， 其 中 ， 应 用 A 提供 了 Web 方 式 的 用 户 登 录 
界面 ， 在 用 户 提交 登录 请 求 后 ， 应 用 A 需要 通过 应 用 B 的 服务 来 完成 用 
户 名 和 密码 的 验证 工作 ， 验 证 通过 后 ， 调 用 应 用 C 去 记录 用 户 的 登录 时 
间 和 IP， 可 见 ， 应 用 A 依赖 了 应 用 B 和 应 用 C。 痢 先 我 们 要 能 够 发 现 这 个 
依赖 关系 ， 其 次 ， 在 应 用 A 对 于 应 用 B 和 应 用 C 的 依赖 中 ， 要 求 登录 的 功 
能 要 正常 ， 那 么 验证 用 户 名 和 密码 的 服务 一 定 要 可 用 才 行 ， 另 外 我 们 不 
希望 记录 登录 时 间 和 IP 的 功能 影响 登录 的 功能 ， 因 此 这 个 功能 不 应 该 成 
0 


应 用 B 


验证 用 户 名 


1 
1 
! 
1 
记录 登录 “|! 
1 
1 
1 


图 8-17 ” 强 弱 依赖 示意 图 


对 于 依赖 的 检测 有 动态 检测 和 静态 检测 两 种 方式 。 静 态 检测 主要 是 分 析 
应 用 A 的 代码 来 确定 所 调用 的 具体 外 部 应 用 ， 从 而 获得 依赖 和 关系， 静态 
检测 很 难 检测 依赖 的 强 弱 性 。 动 态 检 测 则 是 在 系统 运行 的 阶段 ， 通 过 功 
能 的 调用 来 发 现 应 用 的 依赖 和 关系， 并且 可 以 进行 依赖 强 弱 的 检查 。 动 态 
检测 的 主要 检查 方式 是 模拟 锌 调 用 系统 不 可 用 和 啊 应 慢 的 两 种 情况 ， 检 
测 的 场景 是 应 用 A 局 动 及 局 动 后 的 功能 执行 ， 也 就 是 通过 动态 检测 的 方 
式 来 确定 应 用 A 在 局 动 时 必须 依赖 的 应 用 有 哪些 ， 以 及 在 运行 某 功 能 时 
必须 依赖 的 应 用 有 哪些 。 这 些 检测 结果 可 供应 用 负责 人 参考 ， 并 且 通 过 
对 比 每 次 应 用 变更 后 的 检测 结 采 与 变更 前 的 检测 结果 ， 可 以 发 现 依赖 的 
变化 ， 包 括 依赖 的 增加 、 减少， 以 及 依赖 强 弱 特性 的 变化 。 


在 运行 某 功能 时 的 检测 可 以 让 我 们 知道 完成 这 个 功能 的 对 外 系统 的 依 
赖 ， 但 是 ， 这 还 是 一 个 相对 比较 粗 的 粒度 。Google 在 2010 年 发 表 的 名 为 
Dapper, a Large-Scale Distributed Systems Tracing Infrastructure 的 论文 中 
介绍 了 在 大 型 分 布 式 系统 中 的 追踪 ， 从 进入 到 大 型 分 布 式 系统 中 的 一 个 
请 求 开 始 ， 追 踩 这 个 请 求 在 整个 大 型 分 布 式 系统 中 的 调用 情况 ， 这 可 以 
帮助 我 们 绘制 一 个 在 大 型 分 布 式 系统 中 跨 系 统 的 时 序 图 。 要 实现 这 个 功 
能 需要 我 们 在 每 个 应 用 系统 中 都 进行 调用 的 记录 ， 使 用 和 请 求 相关 的 唯 
一 一 个 traceId 把 这 些 记 录 串 起 来 ，traceId 需 要 在 跨 系 统 调 用 时 进行 传 
递 o 


从 图 8-18 中 可 以 看 到 ， 请 求 从 应 用 A 进入 到 整个 系统 中 ， 那 么 从 应 用 A 开 
台 调 用 依赖 的 服务 时 就 会 传递 一 个 traceIld， 它 标识 了 整体 调用 链 ， 此 外 
我 们 可 以 看 到 还 有 一 个 index， 它 主要 用 来 记录 依赖 的 层次 和 顺序 。 每 个 
应 用 则 在 本 机 磁盘 进行 日 志 的 记录 ， 从 而 再 把 日 志 收 集 到 统一 的 地 方 后 
进行 拼装 ， 形 成 一 个 调用 的 时 序 图 。 


traceld, ndex 


图 8-18 分布 式 环境 调用 追踪 


图 8-19 束 是 一 个 示例 ， 从 中 可 以 看 到 用 户 请 求 进入 系统 后 ， 请 求 按照 时 
间 顺 序 的 走向 以 及 古 通过 什么 方法 来 调用 被 依赖 系统 的 。 


(Backend) 


图 8-19 ”调用 追踪 具体 示例 


图 8-20 所 示 的 是 男 外 一 种 展现 方式 ， 在 这 个 展现 中 把 具体 的 请 求 处 理 时 


间 也 表示 出 来 了 。 


(time) 


Frontend.Request 
(no parent id) 
span id: 1 


Backend.DoSomething 
parent id: 1 
span id: 3 


Helper.Call 量 
parent id: 3 
span id: 4 司 


Helper.Call 
parent id: 3 
span id: 5 


Backend.Call 时 
parent id: 1 
span id: 2 


20 22 24 26 28 30 


图 8-20 调用 最 终 时 间 轴 展示 


前 面 两 部 分 介绍 的 都 是 关于 查看 应 用 和 应 用 之 间 的 依赖 关系 。 对 于 依赖 
的 控制 ， 则 是 通过 日 名 单 或 者 黑 名 单 的 机 制 来 完成 的 。 对 于 应 用 的 识别 
主要 是 通过 IP 地 址 及 应 用 本 身 的 名 字 来 完成 。 男 外 ， 可 以 通过 密码 的 方 
式 进行 应 用 的 鉴 权 ， 并 完成 相应 的 调用 控制 。 


8.8 ”多 机 房 问题 分 析 


我 们 在 这 里 说 一 下 多 机 房 的 问题 ， 当 然 这 里 的 多 机 房 指 的 是 源 站 的 多 机 
房 。 从 机 房 的 地 理 位 置 区 分 ， 我 们 会 讲 同城 机 房 和 异地 机 房 ， 一 般 同 城 
的 机 房 之 间 的 距离 相对 比较 近 ， 可 能 在 一 二 十 公里 ， 而 异地 机 房 的 距离 
瑟 很 还 了 ， 一 般 为 数 百 公里 甚至 上 干 公里 。 


多 机 房 主要 用 于 容 灾 ， 以 及 改进 不 同 地 域 的 用 户 的 访问 速度 。 当 然 ， 单 
个 机 房 可 以 容纳 的 服务 器 规模 限制 也 是 多 机 房 的 一 个 影响 因素 。 


同城 机 房 的 价值 主要 是 容 灾 ， 以 及 突破 单机 房 的 服务 器 规模 的 限制 。 同 
城 机 房 之 间 一 般 会 采用 光纤 专线 连接 ， 对 于 应 用 来 说 ， 可 以 近似 地 把 同 
城 的 多 个 机 房 当 成 一 个 机 房 看 待 。 在 同城 多 个 机 房 中 ， 对 于 重要 的 应 用 
系统 ， 我 们 会 在 不 止 一 个 机 房 中 部 署 ; 而 对 于 数据 库 系 统 ， 则 会 把 主 备 
放 在 不 同 机 房 ， 此 外 ， 我 们 也 会 尽量 避免 不 必要 的 跨 机 房 的 内 部 系统 调 
用 ， 这 可 以 通过 软 负 载 中 心 和 服务 框架 来 解决 。 具 体 如 图 8-21 所 示 。 


五 


图 8-21 ”应 用 


当 机 房 1 出 现 故 障 时 ， 应 用 的 调用 都 是 在 本 地 ， 没 有 什么 问题 ， 而 数据 
库 要 进行 主 备 切 换 ， 并 且 应 用 也 要 切换 到 新 的 主 库 上 。 对 我 们 来 说 ， 在 
应 用 层面 需要 完成 的 主要 工作 是 使 系统 尽 可 能 本 地 调用 ， 不 跨 机 房 调 
用 ， 男 外 则 是 当 压 层 有 状态 切换 时 应 用 也 能 进行 切换 。 


同城 机 房 的 问题 相对 好 处 理 一 些 ， 异 地 则 有 很 大 的 挑战 ， 主 要 的 因素 是 
两 地 网 络 通信 的 延迟 。 


对 于 异地 机 房 ， 可 以 分 儿 个 阶段 来 实施 。 首 先是 进行 数据 的 备份 服务 ， 
也 束 是 为 了 数据 安全 ， 把 产生 的 业务 数据 都 同步 到 异地 的 机 房 。 然 后 ， 
把 一 些 对 数据 延迟 不 敏感 的 系统 部 嗜 到 异地 ， 这 种 系统 一 般 是 只 读 的 系 
统 ， 并 且 对 于 数据 变化 的 延迟 可 以 接受 ， 那 么 我 们 可 以 在 数据 复制 到 异 
地 机 房 的 基础 上 构建 只 读 应 用 ， 这样 可 以 方便 距离 异地 机 房 较 近 的 用 户 
的 访问 。 最后， 则 是 把 写 数 据 的 应 用 也 放 在 异地 ， 这 一 步 的 挑战 是 最 天 
的 。 如 果 业 务 之 间 独 立 ， 那 么 不 同 的 业务 分 属于 两 地 的 机 房 是 没有 太 大 
问题 的 ， 但 是 如 果 业 务 之 间 有 关联 的 话 ， 从 用 户 的 维度 去 划分 是 一 个 可 
以 莹 试 的 方向 ， 但 是 同时 也 具有 非常 高 的 复杂 性 。 


8.9 ”系统 容量 规划 


线 上 系统 有 了 监控 和 依赖 的 管理 ， 我 们 束 能 够 及 时 发 现 问题 并 且 能 够 在 
有 问题 时 进行 一 些 必 要 的 补救 。 但 是 我 们 还 应 该 知道 的 信息 就 是 整个 系 
统 的 容量 以 及 运行 时 所 处 的 水 位 。 


我 们 把 某 个 应 用 系统 集群 能 够 提供 的 并 发 能 力 和 当前 的 压力 比 作 一 个 水 
桶 的 容量 和 水 位 ， 如 图 8-22 所 示 。 那 么 准确 知道 各 个 系统 的 容量 和 当前 
高 峰 时 的 水 位 是 一 件 很 重要 的 事情 ， 因 为 我 们 还 是 和 希望 优先 通过 扩大 容 
量 来 文 持 更 多 的 请 求 ， 而 不 是 首选 降级 的 方案 。 


CATT 
ee 水 位 
A 
CR aa a a 
de, 
dd 
ee 
er, 
tad dd ddd dd 
dd ddd dd dd ddd ddd 
ee 
Ed dd dd add dd 
ANNA， 
ee on 
Padadddddddddddddadddddddddd dd 


图 8-22 ”容量 与 水 桶 


容量 的 测量 是 一 个 基础 的 工作 ， 我 们 最 终 的 希望 是 能 够 比较 好 地 对 系统 
容量 进行 规划 ， 能 够 预测 系统 容量 的 增长 曲线 ， 这 样 我 们 的 机 房 建设 、 
服务 需 的 增加 才能 更 加 接近 真实 需求 ， 也 能 降低 成 本 。 当 然 ， 要 预测 准 
确 是 非常 困难 的 事情 ， 预 测 的 方式 一 般 是 考虑 过 去 的 增长 情况 并 结合 
为 的 判断 。 可 以 结合 过 去 的 增长 趋势 拟 合 曲线 来 生成 未 来 的 增长 曲线 ， 
这 征 假设 未 来 的 增长 趋势 和 历史 能 一 致 的 前 提 下 。 而 现实 中 很 多 系统 的 
增长 趋势 并 不 是 一 直 在 重复 过 去 ， 所 以 需要 增加 人 对 于 增长 的 判断 ， 即 
使 这 样 也 不 能 保证 预测 准确 。 那 么 ， 在 无 法 精确 预测 容量 变化 的 情况 
下 ， 还 有 以 下 几 件 事情 是 我 们 必须 要 做 好 的 ; 


弄 清 楚 当 前 系统 高 峰 期 的 水 位 。 

弄 清 楚 当 前 各 个 系统 的 容量 。 

设置 向 式 值 ， 高 峰 水 位 高 过 警戒 值 束 增 加 容量 ， 保 持 高 峰 的 水 位 是 
低 于 警戒 值 的 。 


其 中 第 一 条 “和 弄 清 楚 当 前 系统 高 峰 期 的 水 位 *”， 我 们 通过 前 面 的 应 用 监控 
谍 可 以 采集 到 这 些 数据 。 而 在 计算 出 各 个 系统 的 容量 后 ， 根 据 水 位 去 扩 
容 也 比较 常规 ， 我 们 重点 要 看 一 下 怎样 计算 系统 的 容量 。 


我 们 通过 测试 来 得 到 系统 的 容量 。 在 大 型 分 布 式 系统 中 ， 被 测试 的 系统 
会 依赖 其 他 系统 ， 那 么 我 们 首 移 需要 保证 它 所 依赖 的 系统 不 是 瓶颈 ， 这 
样 才能 比较 真实 地 获取 被 测试 系统 目 身 的 容量 数据 。 此 外 ， 我 们 增加 压 


力 进 行 测试 时 ， 需 要 贴近 用 户 的 真实 请 求情 况 才能 得 到 比较 真实 的 数 
据 ， 另 外 ， 还 需要 考虑 系统 自身 的 响应 时 间 是 否 正 常 ， 如 果 响 应 时 间 明 
TE 


对 于 Web 应 用 和 提供 服务 的 应 用 ， 我 们 是 通过 负载 均衡 或 者 软 负载 设备 
使 得 集群 中 的 单 台 机 器 服务 更 多 的 请 求 (如 图 8-23 所 示 ) ， 我 们 可 以 逐 
步 增 加 被 测试 应 用 的 负载 ， 并 注意 请 求 处 理 时 间 的 变化 ， 一 旦 请 求 处 理 
时 间 比 正常 情况 明显 偏 长 ， 则 结束 测试 。 可 以 看 到 ， 我 们 之 所 以 能 够 很 
容易 地 引流 是 因为 被 测试 对 象 是 无 状态 的 。 要 注意 的 是 ， 我 们 是 通过 测 
试 集群 中 的 单机 容量 来 计算 整个 集群 的 容量 的 ， 那 么 对 于 数据 库 、 缓 存 
等 进行 数据 存储 或 者 有 状态 的 集群 ， 则 不 能 使 用 这 个 方法 来 测试 。 放 大 
当前 的 并 发 请 求 量 是 一 个 可 用 的 方法 ， 不 过 这 只 用 于 读 操作 ， 例 如 我 们 
可 以 对 读 取 某 个 节点 的 缓存 数据 的 请 求 进行 放大 ， 可 以 将 一 次 读 取 变 为 
重复 的 多 次 。 


图 8-23 引流 压 测 示 意图 


可 以 看 到 ， 我 们 在 线 上 引流 或 者 复制 流量 的 方式 都 是 针对 单机 的 。 如 采 
要 进行 在 线 全 站 的 压 测 则 非常 困难 。 对 于 读 操 作 ， 可 以 利用 加 速 日 志 回 
放 进 行 ， 而 对 于 写 操作 ， 则 会 相对 复 洒 些 ， 因 为 重 放 之 前 的 用 户 日 志 会 
涉及 数据 的 写 操 作 ， 而 这 样 会 市 来 脏 数据 。 可 以 考虑 的 一 个 处 理 方 式 
是 ， 在 线 上 构建 一 个 用 于 压 测 的 数据 库 ， 把 真实 数据 全 部 (大 型 系统 

往往 是 部 分 ) 导入 这 个 数据 库 ， 然 后 让 写 的 压 测 数据 走 到 这 个 Mock 的 数 
据 库 中 。 不 过 这 里 存在 一 个 问题 ， 那 惑 是 我 们 必须 区 分 应 用 中 的 测试 请 
求 和 正常 请 求 ， 可 以 采用 的 一 种 做 法 古 测试 的 请 求 从 前 端 URL 进 来 时 就 
为 之 增加 一 个 特别 的 参数 ， 然 后 在 整个 调用 链 中 传递 这 个 参数 ， 最 后 再 
进行 测试 库 和 真实 库 的 区 分 。 


8.10 ”内 部 私有 云 


近 几 年 ， 云 计算 是 很 火热 的 话题 ， 公 有 云 、 私 有 云 也 是 业内 很 多 技术 人 
员 热 议 的 内 容 。 对 于 大 型 网 站 来 说 ， 无 论 是 前 面 看 到 的 中 间 件 还 是 本 章 
看 到 的 这 些 基础 支撑 ， 都 症 大 型 网 站 的 重要 组 成 部 分 ， 而 内 部 私有 云 则 
会 给 大 型 系统 的 运 维 市 来 很 多 便利 。 


对 于 内 部 私有 云 的 构建 ， 需 要 考虑 如 何 把 已 经 形成 规模 的 内 部 工具 、 系 
统 较 好 地 炮 合 在 一 起 。 此 外 ， 也 可 以 去 根据 内 部 的 特点 去 简化 ， 例 如 如 
果 我 们 都 是 Linux 环 境 ， 束 不 需要 考虑 Windows 的 支持 。 云 计算 带 给 我 们 
的 是 看 起 来 用 之 不 尽 的 资源 ， 这 背后 要 求 我 们 的 资源 能 够 动态 扩展 ， 并 
且 在 不 需要 时 能 够 动态 收缩 ， 那 么 ， 判 断 该 扩容 还 是 收缩 总 和 之 前 所 讲 
的 容量 规划 中 的 容量 测试 和 水 位 计算 有 很 大 关系 ， 一 旦 要 进行 扩容 ,就 
需要 去 目 动 建立 环境 ， 上 传 应 用 并 完成 配置 和 局 动 。 对 有 状态 的 集群 的 
扩容 、 收 缩 要 复杂 很 多 。 轻 量 级 的 虚拟 化 也 是 内 部 私有 云 的 重要 部 分 。 
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到 这 里 ， 关 于 大 型 网 站 的 其 他 要 素 的 介绍 就 结束 了 。 本 革 主 要 是 对 这 些 
要 到 进行 基础 介绍 ， 其 中 谈 到 的 每 一 个 话题 基本 上 都 可 以 独立 成 书 。 硕 
望 本 章 能 够 让 读者 了 解 到 除了 前 面 重点 介绍 的 Java 中 间 件 以 外 ， 文 撑 大 
型 系统 的 还 有 其 他 哪些 要 素 和 系统 。 感 兴趣 的 读者 可 以 去 找到 相关 资料 
进行 深入 的 研究 。 


后 记 


通过 前 面 章 市 的 讲解 ， 相 信 各 位 读者 已 经 7 了解 了 大 型 网 站 系统 及 Java 中 
间 件 的 相关 知识 。 在 大 型 网 站 中 ， 要 面临 的 问题 很 多 ,但 古 核心 问题 还 
征 数 据 量 、 访 问 量 快速 膨胀 带 来 的 稳定 性 、 性 能 、 成 本 、 效 率 的 问题 ， 
此 外 就 是 和 算法 相关 的 问题 。 


从 集中 式 的 系统 走向 分 布 式 的 系统 时 ， 需 要 通过 服务 框架 、 消 息 中 间 件 
及 数据 访问 层 来 解决 应 用 与 应 用 之 间 的 调用 、 解 耕 ， 以 及 应 用 与 砌 层 存 
储 之 间 访 问 的 通用 的 问题 。 这 样 一 组 基础 设施 可 以 让 开发 人 员 在 进行 分 
布 式 应 用 开发 时 能 够 重点 关注 业务 应 用 本 号 要 实现 的 功能 ， 而 不 是 陷入 
通信 、 编 码 等 方面 的 工作 中 。 中 间 件 一 定 要 和 目 身 所 处 环境 紧密 结合 
行 。 在 底层 文 撑 的 系统 上 去 建设 和 完善 也 要 伦 费 比较 多 的 精力 。 


在 大 型 网 站 的 建设 当中 ， 千 万 不 要 一 味 遵 循 一 些 所 谓 的 标准 ， 因 为 有 些 
标准 的 制定 根本 不 是 针对 大 型 网 站 系统 的 。 在 大 型 系统 中 ， 总 会 遇 到 很 
多 看 起 来 “丑陋 ”的 设计 ， 但 是 这 些 设计 往往 能 带 来 非常 好 的 效果 。 


多 关注 业内 的 进展 是 很 重要 的 ， 可 以 是 发 表 的 论文 ， 或 是 类 似 博 文 的 介 
绍 ， 也 可 以 是 产品 源码 本 号 ， 我 们 需要 了 解 它们 并 思考 如 何 能 够 应 用 它 
们 来 改进 自己 的 系统 。 而 在 具体 解决 问题 时 ， 完 全 从 头 写 代 码 还 是 基于 
开源 代码 去 发 展 ， 需 要 慎重 地 思考 和 决定 。 如 果 场 景 类 似 ， 那 么 以 比较 
活跃 的 开源 产品 为 基础 ， 并 根据 自己 场景 定制 会 事半功倍 ;而 如 果 没 有 
合适 的 开源 系统 ， 束 需要 我 们 从 零 构建 一 个 我 们 需要 的 基础 系统 。 
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